03-실전

03 · 실전 — “신뢰도”는 모델이 아니라 시스템이 만든다

한 줄로 외울 원칙

모델 자체의 신뢰도를 올리려 애쓰지 말라. 신뢰할 수 있는 시스템 을 만들어라.

이 원칙이 본 위키의 절대 규칙(§7 출처 없는 사실 금지, §10 분리 패스, §11 외부 SDK는 docs 먼저)을 모두 관통한다.

협업 자리에서 자주 보는 환각 유형과 1차 대응

유형	1차 대응
존재하지 않는 함수/패키지	코드 실행 도구로 즉시 import·테스트.
존재하지 않는 인용/URL	”제공된 출처 외 인용 금지” 디렉티브 + grounding.
잘못된 통계·숫자	”출처 없이 숫자 쓰지 말 것” + 검색 도구.
학습 컷오프 이후의 사실	web_search 또는 사람 확인.
자기 능력 자기 보고	그대로 신뢰하지 말 것. 행동 결과로 측정.
긴 트라젝토리의 후반부 오류	컨텍스트 정리(04장) + 검증 패스.

”왜 본 위키는 이렇게 출처에 집착하나”의 답

본 위키는 자기 자신을 환각 방지의 시연 으로 만든다. 모든 사실이 sources/로 매핑되고, writer→reviewer→verifier 패스가 분리되며, 한 에이전트가 자기 출력을 published로 마킹하지 못한다(CLAUDE.md §10, §6, §7). 이 규칙들은 “환각은 본성, 검증은 시스템”이라는 본 챕터의 원칙을 실제로 운영해 보이는 것이다.

사용자 측면의 3가지 습관

1. “모르겠다”는 답을 환영하라. 모델이 모름을 표시할 수 있도록 프롬프트 자체에 허용하는 것이 가장 큰 안전 장치다.
2. 출력의 형식이 단단할수록 더 의심하라. URL·통계·인용은 환각이 가장 쉬운 자리다.
3. 혼자 검증하지 마라. 같은 모델이라도 다른 컨텍스트·다른 패스가 들여다보게 하라.

정리

• 환각은 LLM의 본성. 없앨 대상이 아니라 잡아낼 대상.
• 신뢰도는 모델이 아니라 시스템이 만든다 — grounding · 도구 · 검증 루프 · 다수결.
• 형식이 단단한 출력일수록 더 의심하라.
• 본 위키 자체가 이 원칙의 시연이다.