환각·신뢰도·검증 필요성

환각·신뢰도·검증 필요성

“모델이 자신 있게 거짓을 말한다”는 말의 진짜 의미. 환각은 버그 가 아니라 LLM의 본성에 가까운 현상이며, 운영의 핵심은 환각을 없애는 것이 아니라 잡아내는 것이다.

한 줄 요약

환각(Hallucination)은 LLM이 학습 분포에 비춰 그럴듯하지만 사실이 아닌 토큰을 생성하는 현상이다. 사전학습은 사실성을 직접 학습시키지 않고, RLHF는 환각을 줄이기는커녕 늘리기도 한다. 운영의 답은 검증 루프 다.

누구를 위한 챕터인가

전 사용자.

학습 목표

• 환각이 왜 LLM의 본성에 가깝다 고 말하는지 설명할 수 있다.
• “RLHF가 환각을 늘리기도 한다”의 메커니즘을 안다.
• 사실 검증의 4가지 표준 패턴(grounding·tool use·검증 루프·다수결)을 안다.
• 코딩 에이전트 평가 벤치마크(SWE-bench 등)가 환각/오류를 어떻게 측정하는지 안다.