01-개념
01 · 컨텍스트 윈도우란 무엇인가
섹션 제목: “01 · 컨텍스트 윈도우란 무엇인가”컨텍스트 윈도우(Context Window)는 LLM이 한 번의 추론에서 동시에 볼 수 있는 토큰의 최대 수 다. 시스템 프롬프트·도구 정의·과거 대화·새 사용자 메시지·모델이 만들 응답까지 모두 같은 창 안에서 함께 카운팅된다.
| 구성 요소 | 컨텍스트 사용 |
|---|---|
| 시스템 프롬프트 | ✅ |
도구 정의(tools 파라미터) | ✅ — Anthropic 문서 기준 Opus 4.6에서 auto/none 모드 약 346 토큰 |
| 과거 메시지 | ✅ |
| 새 사용자 메시지 | ✅ |
모델의 응답(max_tokens 까지) | ✅ |
원문 (Anthropic, Tool use with Claude): “When you use
tools, we also automatically include a special system prompt for the model which enables tool use. The number of tool use tokens required for each model are listed below.”
의역: “tools를 쓰면 도구 사용을 활성화하는 특별한 시스템 프롬프트가 자동으로 포함된다. 모델별 도구 사용 토큰 수는 표에 나열되어 있다.”
— sources/01-anthropic-official/api/tool-use-overview.md
즉, “내가 쓴 메시지만큼만 토큰을 쓴다”는 것은 사실이 아니다. 도구 정의·시스템 프롬프트·과거 턴이 매 호출마다 함께 들어간다.
”기억”과의 차이
섹션 제목: “”기억”과의 차이”사람의 기억은 외부 자극 없이도 떠오른다. LLM은 그렇지 않다. 모델은 호출 시점에 컨텍스트 안에 글자로 들어와 있는 것만 안다. 채팅이 길어져 과거 메시지가 윈도우 밖으로 밀려나면, 모델 관점에서는 그 메시지가 존재한 적조차 없다.
세션이 마치 “기억하는 것처럼” 보이는 것은 클라이언트(Claude.ai, Claude Code, API 호출자)가 매번 과거 메시지를 함께 다시 보내기 때문이다. 윈도우가 한도에 닿으면, 클라이언트는 어떤 메시지를 잘라낼지/요약할지 결정해야 한다 — 이것이 Claude Code의 /compact 같은 기능이 하는 일이다.
길이의 함정 — N²
섹션 제목: “길이의 함정 — N²”02 어텐션 챕터에서 본 대로 자기-어텐션의 비용은 토큰 수 N에 대해 대략 N²이다. 컨텍스트가 10배 길어지면 어텐션 비용은 100배다. 응답 지연·요금·품질 모두 영향을 받는다.
이 한계를 공학적으로 푸는 흐름의 첫 단어가 “컨텍스트 엔지니어링”이다. Anthropic Engineering 블로그의 표현을 빌리면 이 흐름은 다음과 같이 정의된다.
원문: “Frames ‘context engineering’ as the successor to ‘prompt engineering’ once agents run for many turns: the question is not what fits in one prompt but what survives across the whole trajectory.”
의역: “에이전트가 여러 턴을 도는 순간 컨텍스트 엔지니어링이 프롬프트 엔지니어링의 후계가 된다. 질문은 ‘한 프롬프트에 무엇이 들어가나’가 아니라 ‘트라젝토리 전체에서 무엇이 살아남는가’로 바뀐다.”
— Anthropic, Effective Context Engineering for AI Agents (sources/14-research-notes/2026-04-07-anthropic-projects-and-context-engineering.md)
“장기 기억”이라는 환상
섹션 제목: ““장기 기억”이라는 환상”Lilian Weng의 LLM Powered Autonomous Agents는 에이전트의 메모리를 두 종류로 나눈다.
원문: “[Memory] distinguishes between short-term memory (in-context learning within the model’s context window) and long-term memory (external vector stores with fast retrieval systems).”
의역: “단기 기억은 컨텍스트 윈도우 안의 in-context learning이고, 장기 기억은 외부 벡터 저장소와 빠른 검색 시스템이다.”
— sources/05-ai-fundamentals/llm-basics/llm-powered-autonomous-agents-lilian-weng.md
여기서 핵심은 장기 기억이 모델의 일부가 아니라는 점 이다. 장기 기억은 검색 가능한 외부 저장소 이고, 필요할 때마다 그 저장소에서 꺼내 컨텍스트로 다시 주입 된다. RAG(Retrieval-Augmented Generation)·스킬·MCP 같은 기법이 모두 이 패턴이다.
- 컨텍스트 윈도우 = 한 호출에 함께 들어가는 토큰 총량의 상한.
- 시스템 프롬프트·도구 정의·과거 턴이 모두 카운팅된다.
- 윈도우 밖으로 빠진 정보는 모델 입장에서 진짜로 사라진다.
- 장기 기억은 모델이 아니라 외부 저장소 + 재주입의 산물.
- “긴 컨텍스트”의 비용은 N²에 가까워, 길이는 곧 돈·지연·품질 부담이다.