← 목차Part 00 · AI·LLM·에이전트 이론 기초·00-2 · 10분
이 클립 · AI·LLM·에이전트 이론 기초

LLM은 어떻게 답을 만드나 — 다음 단어 예측·토큰·컨텍스트

학습목표: 이 10분 뒤에는 LLM이 답을 통째로 꺼내는 것이 아니라, 지금까지의 토큰을 보고 다음 토큰을 예측하는 일을 반복한다는 점을 이해한다 [TH-001, TH-002]. 또한 프롬프트, 대화 이력, 첨부, 답변이 모두 컨텍스트 윈도우 안의 토큰 예산을 함께 쓴다는 점을 이해한다 [TH-004].

1. 핵심 개념 — 한 문장 정의 + 비유

LLM은 앞에 놓인 토큰들을 읽고 다음 토큰 후보의 확률분포를 만든 뒤, 그중 하나를 고르고, 다시 그 토큰을 앞 문맥에 붙여 다음 토큰을 고르는 방식으로 답을 만든다 [TH-001, TH-009, TH-011].

비유하자면 LLM은 아주 똑똑한 자동완성기와 비슷하지만, 단어 하나를 그대로 맞히는 자동완성기가 아니라 토크나이저가 잘라 놓은 subword 토큰 조각을 이어 붙이는 자동완성기에 가깝다 [TH-002].

용어 풀이: 토큰은 모델이 읽고 쓰는 작은 글자 조각이고, 토큰화는 문장을 그 조각들로 나누는 과정이다 [TH-002].

중요한 감각은 “모델이 답을 미리 알고 있다”가 아니라 “지금 문맥에서 다음에 올 조각들의 가능성을 계산한다”에 가깝다 [TH-001, TH-011].

2. 자세히 들여다보기 — 작동 원리·배경을 초보자 눈높이로

먼저 학습 단계를 보자. LLM은 수많은 텍스트를 “앞부분을 보고 다음 토큰을 맞히는 문제”로 바꿔 배운다 [TH-001]. 문장 중간 어디를 끊어도 그 뒤에 정답 토큰이 따라오니, 긴 글 한 편이 작은 퀴즈 수천 개의 묶음으로 변한다 [TH-001].

예측 단위도 짚고 넘어가자. LLM이 맞히는 것은 단어가 아니라 토크나이저가 잘라 놓은 subword 토큰이다 [TH-002]. 그래서 사람 눈에는 한 단어로 보이는 말도 모델 안에서는 여러 조각으로 쪼개지고, 거꾸로 자주 등장하는 짧은 표현은 통째로 한 조각처럼 다뤄지기도 한다 [TH-002].

가장 놀라운 대목은 마지막이다. 다음 토큰 예측이라는 단순한 목표 하나만으로 문법, 사실, 문체, 코드, 추론 구조까지 덤으로 따라 배운다 [TH-003]. 다음 조각을 제대로 맞히려면 주어와 서술어의 관계, 앞뒤 문장의 흐름, 자주 붙어 다니는 사실, 특정 문체의 리듬을 동시에 붙잡아야 하기 때문이다 [TH-003].

용어 풀이: 임베딩은 토큰을 숫자 벡터로 바꾼 표현이고, 같은 토큰도 문맥에 따라 의미 벡터가 달라질 수 있다 [TH-008].

트랜스포머는 모든 단어가 동시에 다른 모든 단어를 attention으로 보게 만든 구조다 [TH-006]. 셀프어텐션은 Query를 질의, Key를 라벨, Value를 내용으로 보는 데이터베이스 검색 비유로 이해할 수 있다 [TH-007].

예를 들어 “은행에 갔다”와 “강둑의 은행나무”에서 같은 글자 조각이 보이더라도, 모델은 주변 토큰을 함께 보며 지금 어떤 의미로 쓰였는지를 벡터 표현에 반영한다 [TH-006, TH-008].

마지막으로 모델은 다음 토큰 하나를 고를 때 후보별 확률분포를 만든다 [TH-009, TH-011]. temperature는 softmax 전에 logit을 스케일링해 확률분포의 뾰족함을 조절하고, top-p는 누적확률 p까지의 후보만 남겨 낮은 확률 토큰이 뽑히는 일을 줄이는 안전망이다 [TH-009, TH-010].

용어 풀이: logit은 softmax로 확률이 되기 전의 원점수라고 생각하면 된다 [TH-009]. 용어 풀이: softmax는 여러 원점수를 합이 1인 확률분포로 바꾸는 계산이라고 생각하면 된다 [TH-009].

선택 순서는 temperature가 분포를 먼저 reshape하고, top-k나 top-p가 후보를 거른 뒤, 남은 후보 중에서 추첨하는 흐름이다 [TH-011].

3. 2026년 지금은 — 최신 동향·주의점

컨텍스트 윈도우는 프롬프트, 이전 대화, 첨부, 모델이 작성 중인 답변까지 합친 모든 토큰의 총량이다 [TH-004]. 그래서 “긴 자료를 많이 넣으면 더 똑똑해진다”보다 “필요한 토큰을 잘 골라 넣어야 한다”가 더 정확한 감각이다 [TH-004, TH-015].

광고에 적힌 한도와 실제로 믿을 만한 한도는 다르다. 20만 토큰 한도는 약 13만 토큰 부근에서, 100만 토큰 한도는 약 65만 토큰 부근에서 회상이 무너지는 모습이 관찰된다 [TH-005]. 긴 창이 쓸모없다는 말은 아니다. 다만 긴 창을 문서 창고처럼 닥치는 대로 채워 넣으면 정확도가 흔들린다는 뜻이다 [TH-005, TH-017].

context rot은 토큰이 늘수록 컨텍스트 안의 정보 회상 정확도가 떨어지는 현상이다 [TH-017]. 컨텍스트 오염은 환각이나 오류가 컨텍스트에 들어간 뒤 반복 참조되는 문제이고, 컨텍스트 산만은 컨텍스트가 너무 길어 과거 행동을 반복하거나 학습 지식을 무시하는 문제이며, 컨텍스트 혼란은 불필요하거나 모순된 정보가 응답 품질을 떨어뜨리는 문제다 [TH-033, TH-034, TH-035].

그래서 2026년의 핵심 태도는 프롬프트 한 문장을 예쁘게 쓰는 수준을 넘어, 추론 시점에 필요한 토큰 집합을 큐레이션하고 유지하는 컨텍스트 엔지니어링으로 이동한다 [TH-015, TH-016]. 프롬프트 엔지니어링은 컨텍스트 엔지니어링의 부분집합이고, 컨텍스트 엔지니어링은 전체 컨텍스트 상태를 관리하는 전략이다 [TH-016].

환각도 같은 관점에서 봐야 한다 [TH-012]. LLM은 “모름”을 인정하는 것보다 그럴듯하게 찍는 쪽이 학습과 평가에서 보상될 수 있기 때문에, 근거가 약한 자리에서도 답을 이어 붙일 수 있다 [TH-012].

4. 비개발자에게 무슨 의미인가 — 코덱스 앱과 어떻게 연결되나

Codex에서 질문을 던지거나 작업을 맡길 때도 모델 입장에서는 프롬프트, 파일 내용, 대화 이력, 도구 결과, 작성 중인 답변이 모두 컨텍스트 토큰으로 들어간다 [TH-004, TH-015]. 따라서 좋은 요청은 “멋진 문장”보다 “모델이 지금 봐야 할 자료와 판단 기준을 정확히 넣은 컨텍스트”에 가깝다 [TH-015, TH-016].

앞으로 Codex 앱에서 Skills, Automations, Sites, Memory, Plugins라는 이름을 보더라도, 이 이론은 그대로 적용된다 [TH-004, TH-015]. Skills는 반복되는 작업 방식의 지시를 컨텍스트에 안정적으로 넣는 관점으로 이해할 수 있고, Automations는 같은 판단을 반복 실행할 때 필요한 컨텍스트를 매번 관리하는 관점으로 이해할 수 있다 [TH-015, TH-016].

Plugins나 도구 호출을 쓸 때도 모델이 타입 지정 인자의 구조화된 호출을 만들고, 앱이 실행 결과를 되돌려 주면 그 결과가 다시 컨텍스트에 들어간다 [TH-027, TH-004]. 표기 규칙: 이 교재는 2026-06 기준 기능명을 Skills, Automations, Sites, Memory, Plugins로 쓰고, Sites는 Business·Enterprise 프리뷰 단서, Memory는 Enterprise·Edu·EU·UK 프리뷰 단서를 붙여 다룬다 [USER-2026-06].

비개발자가 당장 손에 쥘 실천법은 세 가지다 [TH-015, TH-017]. 긴 파일을 통째로 붙이기 전에, 이번 답에 꼭 필요한 부분과 판단 기준부터 적어 둔다 [TH-004, TH-015]. 이전 답변에서 오류가 눈에 띄면 그 자리에서 바로잡아 컨텍스트 오염을 끊는다 [TH-033]. 그리고 오래 끄는 작업이라면 압축, 구조화 노트, 서브에이전트 같은 수단으로 컨텍스트를 솎아 가며 관리한다 [TH-036, TH-037].

5. 한 줄 정리 + 용어 미니사전

한 줄 정리: LLM의 답변은 “생각을 꺼내는 문장”이 아니라 “컨텍스트 안의 토큰을 보고 다음 토큰 확률분포를 만들고 선택하는 과정”이다 [TH-001, TH-002, TH-011].

다음 토큰 예측: 앞의 토큰들을 보고 각 위치의 다음 토큰을 맞히도록 학습하는 방식이다 [TH-001].

토큰: 단어가 아니라 토크나이저가 만든 subword 조각이다 [TH-002].

컨텍스트 윈도우: 프롬프트, 이력, 첨부, 답변을 모두 합친 토큰 공간이다 [TH-004].

확률분포: 다음에 올 수 있는 후보 토큰들에 가능성을 나눠 준 표라고 이해할 수 있다 [TH-009, TH-011].

temperature: softmax 전 logit을 스케일링해 후보 분포를 더 뾰족하게 만들거나 더 퍼지게 만드는 설정이다 [TH-009].

top-p: 누적확률 p까지의 후보만 남겨 낮은 확률 후보를 걸러 주는 설정이다 [TH-010].

출처

본문의 [...] 표기는 아래 근거에서 확인할 수 있습니다.

← AI·머신러닝·딥러닝·LLM — 헷갈리는 용트랜스포머 기초 — 어텐션을 비유로 이해하기 →
코덱스 100가지 스킬스 활용 바이블 · 00-2 · 근거 기반 교재 · 2026-06 기준