anti-patterns

안티패턴 — Few-shot & 형식 강제

1) “예시 0개로 JSON 강제”

스키마만 적고 예시를 안 준다. 모델은 자주 본 자신만의 형식으로 미끄러진다(코드 블록 감싸기, 산문 서론 등).

2) 예시가 모두 한 클래스에 쏠림

5개 예시 중 4개가 billing이면, 모델은 모든 입력을 billing이라 답하기 시작한다. 분포 균형을 맞춰라.

3) 예시가 마지막에 정답 패턴을 박음

마지막 예시가 항상 “high”로 끝나면 recency bias로 confidence가 high 쪽으로 쏠린다. 순서를 섞어라.

4) Few-shot으로 추론을 가르치려 함

산술·다단계 논리는 few-shot만으로 풀리지 않는다. CoT(본 파트 4장)와 결합하라.

5) 형식 강제를 지시문으로만 하기

“JSON으로만 답하라”라고 적었지만 prefill, 스키마, 예시 어느 것도 없다. 가장 약한 기법 하나에 의존하면 깨진다.

6) Tool use가 가능한데도 산문 출력에 매달림

다음 단계가 코드라면 도구 호출이 가장 안정적이다. “프롬프트로 어떻게든” 강제하려는 시도는 계속 회귀가 난다.

7) 라벨이 모호한 예시

사람도 어느 카테고리인지 헷갈리는 예시는 학습 신호를 약하게 만든다. “라벨이 무작위여도 낫다”는 연구는 형식 학습에 한정된 발견이지 “정답이 아무거나 돼도 된다”는 뜻이 아니다.

8) 예시를 매 호출마다 사용자 프롬프트에 다시 적기

예시는 시스템 층에 두고 캐시를 활용하라. 사용자 프롬프트는 이번 호출의 데이터만.