anti-patterns

안티패턴 — 환각

1. “Claude는 환각하지 않는다”는 믿음

모델 패밀리가 무엇이든 환각은 본성에 가까운 현상이다. 덜 할 수는 있어도 없앨 수는 없다.

2. 자기 검증으로 끝내기

모델이 자기 출력을 평가하면, 같은 환각을 통과시키는 경향이 있다. CLAUDE.md §10 “자기 승인 금지”.

3. 출력의 단단한 형식만 보고 신뢰

URL·숫자·인용·코드 함수 시그니처는 환각이 가장 쉬운 자리다. 형식이 깔끔할수록 더 의심하라.

4. “모름을 표시”를 막는 프롬프트

“무조건 답을 내라”는 디렉티브는 환각 빈도를 직접 키운다. 모름의 출구를 항상 열어 둘 것.

5. 검색·코드 실행 같은 도구를 쓰지 않고 사실 묻기

사실 질문에는 도구가 거의 항상 더 정확하다. (sources/01-anthropic-official/api/tool-use-overview.md)

6. RLHF가 모든 걸 해결한다고 믿기

RLHF는 환각을 늘리기도 한다(Huyen). 정렬과 사실성은 다른 축이다.