← 목차Part 00 · AI·LLM·에이전트 이론 기초·00-5 · 10분
이 클립 · AI·LLM·에이전트 이론 기초

환각과 편향성 — 왜 그럴듯하게 틀리고 치우치나

학습목표: AI가 왜 자신 있게 틀릴 수 있는지, 왜 답이 특정 관점으로 기울 수 있는지, 그리고 비개발자가 검증·근거·맥락 관리로 어떻게 대응해야 하는지 이해한다. [TH-012, TH-014, TH-015, TH-031]

1. 핵심 개념 — 한 문장 정의 + 비유

환각(hallucination)은 AI가 “모른다”고 멈추기보다 그럴듯한 다음 말을 이어 붙이면서, 근거가 약한 내용을 사실처럼 말하는 현상이다. [TH-001, TH-012]

편향(bias)은 AI의 답이 여러 가능성을 고르게 다루지 못하고 특정 집단, 관점, 표현 방식 쪽으로 기우는 현상이다. [TH-014]

가장 쉬운 비유는 “자동완성 기능이 박식한 말투를 배운 경우”다. [TH-001, TH-003]

자동완성은 앞 문장을 보고 다음에 올 말을 고르지만, 그 말이 실제 세계에서 맞는지 매번 검사하지는 않는다. [TH-001, TH-012]

[TH-001, TH-002, TH-012]

2. 자세히 들여다보기 — 작동 원리·배경을 초보자 눈높이로

토큰(token)은 AI가 읽고 쓰는 글자 조각이며, LLM은 단어 전체가 아니라 토크나이저가 만든 subword 토큰을 예측한다. [TH-002]

LLM은 긴 글을 그대로 이해하는 존재라기보다, 텍스트를 지도학습 문제로 바꿔 각 위치의 “다음 토큰”을 맞히도록 학습한 모델이다. [TH-001]

이 단순해 보이는 훈련만으로도 문법, 사실, 문체, 코드, 추론 구조 같은 패턴이 함께 배운다. [TH-003]

함정은 여기다. “다음 토큰을 잘 맞히는 능력”과 “지금 이 답이 참인지 따져 보는 능력”은 전혀 다른 일이다. [TH-001, TH-012]

환각도 모델이 못된 마음을 먹어서 나오는 것이 아니다. 학습과 평가가 “모른다고 인정하기”보다 “그럴듯하게 찍기”에 더 후한 점수를 줄 때 자라난다. [TH-012]

질문이 어려울수록 환각이 늘어나는 것도 우연만은 아니며, 환각률은 분류 난이도와 수학적으로 연결됨이 증명되었다. [TH-013]

샘플링은 모델이 여러 후보 토큰 중 하나를 뽑는 과정이며, temperature는 softmax 전 logit을 스케일링해 후보 분포의 뾰족함을 조절한다. [TH-009]

top-p는 누적확률 p까지의 후보만 남겨 낮은 확률 토큰이 튀어나오는 위험을 줄이는 안전망이다. [TH-010]

실제 생성에서는 temperature가 먼저 분포를 다시 만들고, top-k나 top-p가 후보를 거른 뒤, 그 후보 중에서 추첨한다. [TH-011]

그래서 같은 질문에도 답이 조금씩 달라질 수 있고, 창의적 문장에서는 장점이 되지만 사실 확인 과제에서는 위험이 될 수 있다. [TH-009, TH-010, TH-011, TH-012]

편향을 “AI가 일부러 차별한다”로만 읽으면 시야가 좁아진다. [TH-014]

모델은 텍스트에서 문법과 사실만 가져오는 게 아니라 문체와 추론 구조까지 함께 흡수한다. 그러니 자료 곳곳에 박힌 고정관념과 표현 습관도 답변에 슬그머니 묻어 나온다. [TH-003, TH-014]

정렬된 모델도 심리학적 측정에서는 광범위한 고정관념 편향이 잔존한다. [TH-014]

최신성 한계는 “모델이 말투는 최신처럼 보이지만, 답변 근거가 현재 자료로 갱신되었는지는 별도로 봐야 한다”는 문제다. [TH-031, TH-041]

GPT-5는 2025년 8월 7일, GPT-5.1은 2025년 11월 12일, GPT-5.5는 2026년 4월 24일 API로 출시되었고, 이런 변화 자체가 기준 시점 확인의 필요성을 보여준다. [TH-041]

3. 2026년 지금은 — 최신 동향·주의점

2026년의 핵심 변화는 “더 똑똑한 모델을 쓰면 끝”이 아니라 “근거와 컨텍스트를 어떻게 관리하느냐”로 옮겨 가는 흐름이다. [TH-015, TH-016, TH-031]

컨텍스트(context)는 프롬프트, 대화 이력, 첨부, 답변에 들어가는 모든 토큰의 합이다. [TH-004]

컨텍스트 엔지니어링은 추론 시점에 필요한 최적의 토큰 집합을 고르고 유지하는 전략이다. [TH-015]

프롬프트 엔지니어링은 컨텍스트 엔지니어링의 부분집합이며, 컨텍스트 엔지니어링은 전체 컨텍스트 상태를 관리한다. [TH-016]

컨텍스트가 길어지면 정보가 많아져 무조건 좋아지는 것이 아니라, 토큰이 늘수록 컨텍스트 안의 정보 회상 정확도가 떨어지는 context rot이 생긴다. [TH-017]

잘못된 답이 대화 안에 들어가면 그 오류가 반복 참조되며 거짓 위에 전략을 쌓는 컨텍스트 오염이 생긴다. [TH-033]

컨텍스트가 너무 길면 모델이 학습 지식을 무시하고 과거 행동을 반복하는 컨텍스트 산만이 생길 수 있다. [TH-034]

불필요하거나 모순된 정보가 많으면 저품질 응답과 추론 탈선으로 이어지는 컨텍스트 혼란과 충돌이 생긴다. [TH-035]

RAG는 외부 코퍼스를 검색해 출력을 근거화함으로써 지식집약 과제의 환각을 줄이는 방식이다. [TH-031]

추론 모델은 답을 내기 전에 thinking 토큰을 더 써서 추론하지만, 이것만으로 검증 절차가 자동 완성되는 것은 아니다. [TH-020, TH-031, TH-039]

GPT-5.1은 작업 복잡도에 따라 생각 시간을 동적으로 조절해 효율을 높이지만, 쉬운 문제에 토큰을 과소비하는 과잉사고 문제도 추론 모델의 주의점으로 남아 있다. [TH-023, TH-022]

[TH-031, TH-038, TH-039]

4. 비개발자에게 무슨 의미인가 — 코덱스 앱과 어떻게 연결되나

비개발자가 새겨야 할 결론은 하나다. AI에게 정답을 통째로 맡기지 말고, 초안을 맡긴 뒤 근거와 승인 절차를 덧대라는 것이다. [TH-012, TH-031, TH-039]

Codex 앱에서 Skills는 검증 순서를 반복 가능한 작업 습관으로 고정하는 이름으로, Plugins는 외부 자료와 도구를 연결해 근거를 붙이는 작업 흐름으로 이해하면 된다. [TH-015, TH-027, TH-031]

Automations는 반복 확인을 맡길 때 유용하지만, 부작용이 생기는 실행은 사람 승인 전에 지나가면 안 된다. [TH-038, TH-039]

Sites와 Memory는 2026년 6월 기준으로 프리뷰와 요금제 제한 단서를 붙여 다루어야 하며, 이 클립에서는 환각 대응의 핵심 기능으로 확장 설명하지 않는다. [TH-015, TH-036]

실무 프롬프트도 “답해줘” 한 마디로 끝내면 곤란하다. “출처를 따로 표시해라, 모르면 모른다고 적어라, 최신 정보인지 확인해라, 실행하기 전에 승인받아라”처럼 검증 조건을 함께 박아 넣어야 한다. [TH-012, TH-031, TH-038, TH-039]

긴 작업에서는 압축, 구조화 노트, 서브에이전트로 컨텍스트를 관리하는 방법이 필요하다. [TH-036]

서브에이전트는 깨끗한 컨텍스트로 작업한 뒤 1,000~2,000토큰 요약만 반환하는 방식으로 긴 작업의 오염과 산만을 줄이는 데 도움이 된다. [TH-037, TH-033, TH-034]

가장 신뢰적인 패턴은 추론과 실행을 분리하고, 부작용이 생기기 전에 사람 승인을 게이트로 두는 것이다. [TH-039]

5. 한 줄 정리 + 용어 미니사전

한 줄 정리: AI의 환각과 편향은 “똑똑함 부족”만의 문제가 아니라 다음 토큰 예측, 학습 자료의 쏠림, 컨텍스트 관리 실패, 검증 부재가 겹쳐 생기는 문제다. [TH-001, TH-012, TH-014, TH-033, TH-035]

환각: 모델이 모름을 인정하기보다 가능한 답을 이어 붙여 근거 약한 내용을 사실처럼 말하는 현상이다. [TH-012]

편향: 정렬된 모델에도 남을 수 있는 고정관념적 응답 경향이다. [TH-014]

토큰: 토크나이저가 만든 subword 단위의 조각이며 LLM이 예측하는 기본 단위다. [TH-002]

컨텍스트: 프롬프트, 이력, 첨부, 답변에 들어가는 모든 토큰의 합이다. [TH-004]

RAG: 외부 코퍼스 검색으로 출력을 근거화해 지식집약 과제의 환각을 줄이는 방식이다. [TH-031]

HITL: 실행 전에 사람이 승인하는 방식이며, 위험한 실행은 승인 게이트를 앞에 둔다. [TH-038, TH-039]

출처

본문의 [...] 표기는 아래 근거에서 확인할 수 있습니다.

← 랜덤성과 창의성 — 같은 질문에 다른 답이 프롬프트에서 컨텍스트 엔지니어링으로 — 20 →
코덱스 100가지 스킬스 활용 바이블 · 00-5 · 근거 기반 교재 · 2026-06 기준