02-증상별-진단표

02. 증상별 진단표

운영에서 본 증상으로 안티패턴을 역추적한다.

출력 형식이 자주 깨진다

• 산문 서론이 붙는다 → AP-03 (Schema-Only Format)
• 코드블록 감싸진다 → AP-03 + assistant prefill 적용
• 필드가 누락된다 → AP-03, 스키마에 enum/필수 표시 강화
• 사고와 답이 섞인다 → AP-06 (CoT-Bleed)

같은 작업인데 결과가 매번 다르다

• 매 호출마다 사용자 프롬프트가 길게 다름 → AP-04 (Layer-Mixing) — 정책을 시스템으로
• 시스템에 변수 박혀 있음 → AP-04 — 캐시·재현성 모두 깨짐
• temperature가 높음 → 평가 후 의도적인 선택인지 확인. Self-Consistency가 의도였다면 OK

운영에서 특정 카테고리만 자주 깨진다

• 평가 시 평균만 봤음 → AP-10 (Average-Trap)
• 그 카테고리 예시가 부족함 → AP-03 + 4/03 예시 다양성

비용·지연이 폭증

• CoT를 모든 작업에 → AP-07 (CoT-Everywhere)
• 시스템 프롬프트가 1000줄 → AP-13 (Prompt-Bloat)
• Self-Consistency를 분류기에 → 변종 선택 잘못 (4/04)

외부 입력 후 모델이 이상하게 행동

• 인젝션 의심 → AP-05 (Injection-Open)
• 시스템에 외부 텍스트가 직접 합쳐짐 → 격리 태그

”고쳤는데 다른 곳이 깨졌다”

• 회귀 세트 없음 → AP-09 (No-Eval Tuning)
• 슬라이스 분리 없음 → AP-10
• CI 차단 없음 → 4/05 회귀 CI

같은 모델이 자기 출력을 칭찬

• AP-11 (Self-Judge). writer / reviewer / verifier 분리

모델이 우리 정책을 무시

• 시스템 안에 충돌 → AP-12 (Conflicting Rules)
• 사용자 프롬프트가 시스템 정책을 덮어씀 → AP-04
• 일회용 지시가 CLAUDE.md에 박혀 우선순위 흔들림 → 4/02 03 절

”프롬프트만 손보면 풀린다”는 가정

• 사실은 모델 교체가 답일 수도 → 4/05 01 절 (Anthropic 입장)
• 사실은 RAG·도구 추가가 답일 수도 → Part 3 컨텍스트 엔지니어링 참조