74 · 문서화 — 테스터


0. 테스터가 이 저장소에서 지키는 한 문장

★★★ 「초록」이 아니라 「무엇을 실제로 쟀는가」를 본다. 건너뜀이 많은 초록은 아무것도 재지 않은 초록이다.

1. 결과를 세 수로 읽는다

초록 N · 붉음 M · 건너뜀 K
수 무엇을 뜻하나 나쁜 신호
초록 실제로 재서 통과 —
붉음 재서 실패 고친다
건너뜀 재지 못했다 늘어나는 것이 나쁘다 — 자원이 사라졌다는 뜻

★★ 건너뜀을 초록으로 합치는 보고는 거짓이다(01 §8).

2. 대조군을 먼저 본다

관문을 믿으려면 꺼 봐야 한다(40 §6). 테스터의 첫 일은 기능 검사가 아니라 관문이 살아 있는지 확인하는 것이다.

verify/probe_gate.sh      아홉 자리를 일부러 틀리게 해 보고 붉어지는지 본다

★★★ 하나라도 「꺼도 초록」이면 그 관문은 없는 것이다. 형제 저장소에 실제로 그런 기간이 있었다.

3. 표적 자료를 어떻게 짓나 — 병 그대로

표적 무엇을 재려고
cp949 이름 zip(UTF-8 표식 없음) 한글 이름 되읽기(12 §5)
그림만 든 pdf 「글이 없다」
못 여는 파일(가짜 확장자) 「못 뽑았다」
아주 큰 파일 상한에서 「안 봤다」로 적히는가
같은 내용 다른 이름 셋 중복 제거가 내용 지문으로 도는가
같은 내용 다른 폴더 loci 가 여럿으로 붙는가

★★★ 세 상태(있다·없다·못 뽑았다)를 모두 겪는 표적이라야 그 코드가 시험된다(41 §3).

★★ 병을 흉내 내는 것부터 실측이다 — 형제는 표식 없는 zip 을 짓기 위해 파이썬 zipfile 의 동작을 우회해야 했다(파이썬 3.14 에서 writestr 이 표식을 덮어쓴다). 이 호스트도 3.14.7 이다.

4. 무엇을 결함으로 신고하나 · 무엇을 신고하지 않나

결함이다 결함이 아니다
없는 것을 있다고 말한다 없는 것을 없다고 말한다
못 뽑은 것을 빈 글로 적는다 「못 뽑았다」로 적는다
조용히 다른 백엔드로 바꾼다 「엔진 없음」이라고 말한다
답을 지어낸다 「자료에 없다」고 답한다
두 번 돌려 결과가 다르다 느리다(측정해서 적는다)
얼굴마다 본문이 다르다 얼굴마다 꾸밈이 다르다
건너뜀을 초록으로 센다 자원이 없어 건너뛴다

★★★ 왼쪽 표의 전부가 「거짓 성공」이다. 이 저장소가 가장 나쁘게 보는 결함 갈래다.

5. 재현에 반드시 적을 것 여섯

1. 판(--version 이 찍은 것) · 트랙(연동/독립형/네이티브)
2. cfg 지문(기동 때 찍힌 것)
3. 자원 상태(kafka·redis·ainsbus·ollama 있음/없음)
4. 명령 그대로
5. 초록/붉음/건너뜀 세 수
6. 표적 자료(무엇으로 지었나)

★★ 2·3 번이 없으면 재현이 거의 불가능하다. 같은 코드가 다른 답을 낸 까닭은 거의 설정과 자원이다.

6. 지금 선 것 · 아직 없는 것 (2026-09-25 · 스프린트 1 뒤)