01-개념

01 · 환각이란 무엇인가

정의

환각(Hallucination)은 LLM이 학습 분포에 비춰 그럴듯하게 보이는 토큰을 생성했지만, 실제 세계의 사실과는 어긋나는 출력을 가리킨다. 흔한 형태:

존재하지 않는 함수·API·라이브러리 이름.
존재하지 않는 논문·인용문·URL·통계.
진짜 사람·조직에 대한 잘못된 사실.
자기 자신의 능력이나 컨텍스트에 대한 잘못된 단언(“나는 X를 모른다” 또는 “나는 X를 했다”의 거짓).

왜 본성에 가깝나

01장에서 본 대로 LLM의 학습 신호는 “다음 토큰을 잘 맞히기”다. 진실이라는 별도의 라벨이 없다. 따라서 모델이 학습한 것은 “진실”이 아니라 “학습 분포에서 그럴듯한 다음 토큰” 이다. 학습 분포에서 두 단어가 자주 함께 등장했다면, 모델은 그 둘을 사실 여부와 무관하게 함께 낼 가능성이 높다.

이 사실 한 줄이 환각의 거의 전부를 설명한다.

RLHF가 환각을 늘리기도 한다는 paradox

03장에서 인용한 Chip Huyen의 문장을 다시 본다.

원문: “RLHF improves performance significantly compared to SFT alone, though it paradoxically increases hallucination while improving overall quality.”
의역: “RLHF는 전반적 품질을 크게 올리지만, 역설적으로 환각은 오히려 늘기도 한다.”
— sources/05-ai-fundamentals/llm-basics/rlhf-chip-huyen.md

메커니즘은 단순하다.

사람은 “모르겠다”는 답보다 “그럴듯한” 답을 선호하는 경향이 있다.
보상 모델이 그 선호를 학습한다.
정책은 “잘 모르는 영역에서도 자신 있게 그럴듯한 답을 만드는” 방향으로 최적화된다.

따라서 정렬은 사실성을 직접 보장하지 않고, 오히려 자신감 있는 거짓의 빈도를 늘릴 수 있다. 이것은 “Claude를 더 친절하게 만든다”가 사실성과 별개의 축임을 의미한다.

환각이 일어나기 쉬운 자리

학습 컷오프 이후의 사건 — 모델은 모르지만 자주 추측한다.
희귀 도메인 사실 — 학습 분포에서 거의 본 적 없는 영역.
숫자·인용·URL — 가짜를 만들기에 가장 쉬운 형식이 단단한 출력 자리.
자기 능력에 대한 메타 진술 — “나는 X를 잘한다/못한다”는 모델 자신의 자기 보고는 흔히 부정확하다.
긴 트라젝토리의 후반부 — context rot과 결합해 정확도가 떨어진다(04장 참조).

정리

환각 = 학습 분포에 비춰 그럴듯하지만 사실은 아닌 출력.
사전학습의 본성상 사실성은 자동으로 학습되지 않는다.
RLHF는 환각을 늘리기도 한다 — 자신감 있는 답에 대한 사람 선호 때문.
환각은 없앨 대상이 아니라 잡아낼 대상이다.