diagnoses

예시 — 안티패턴 진단 사례

사례 1 — “고친 게 없는데 운영이 자꾸 깨져요”

증상 보고: 분류기가 어제까지 잘 됐는데 오늘 abuse 카테고리에서 30% 오답.

1차 진단:

• 프롬프트 변경 이력 확인 → 어제 PR에서 시스템 프롬프트에 한 줄 추가됨 (“출력은 친근한 말투로”)
• 회귀 세트 결과 확인 → PR에 첨부 없음 (AP-09)
• 슬라이스 분리 결과 → 없음 (AP-10)

진단: AP-09 (No-Eval Tuning) + AP-10 (Average-Trap). “친근한 말투” 한 줄이 abuse 슬라이스의 분류 신호를 흐림.

처치:

1. 즉시 롤백
2. 평가 세트에 abuse 슬라이스 5개 추가
3. CI에 슬라이스별 임계값 추가

---

사례 2 — “모델이 우리 컨벤션을 자꾸 무시해요”

증상: 코드 리뷰 봇이 “zod 검증 없음” 같은 우리 팀 컨벤션을 자주 놓침.

1차 진단:

• 컨벤션이 어디 있는가? → 채팅창에 매번 적고 있음 (AP-04)
• CLAUDE.md에는 일반적인 지시만 있음
• 사용자 프롬프트마다 다른 변형으로 적힘

진단: AP-04 (Layer-Mixing). 변하지 않는 정책이 변동 층(사용자)에 있음.

처치:

1. 컨벤션을 시스템 프롬프트(CLAUDE.md 또는 sub-agent system)로 이동
2. 컨벤션 위반 사례 5개를 평가 세트에 추가
3. 회귀 측정

---

사례 3 — “JSON 출력이 일주일에 두세 번 깨져요”

증상: 파싱 실패율 ~1.5%.

1차 진단:

• 형식 강제 강도? → “JSON으로 답하라” 한 줄만 (AP-03)
• 스키마? → 없음
• prefill? → 없음
• few-shot? → 없음

진단: AP-03 (Schema-Only Format). 가장 약한 기법 하나에 의존.

처치:

1. 스키마 명시 + enum
2. few-shot 3개 추가 (정상 + 빈 값 + 다국어)
3. assistant prefill {
4. 검증 + 1회 재시도 루프
5. 평가 후 parse_rate 0.985 → 0.998

---

사례 4 — “CoT 켰더니 분류가 더 나빠졌어요”

증상: 분류기에 “단계별로 사고하라”를 추가했더니 정확도 -3%.

진단: AP-07 (CoT-Everywhere). 분류는 단순 작업이라 CoT가 산만하게 만듦. 토큰 비용도 3배.

처치:

1. CoT 제거
2. 대신 few-shot 다양성 강화
3. 회귀 측정으로 복구 확인