01-개념

01 — 개념: 토큰의 두 가지 비용

비용 #1 — 청구서

토큰은 돈이다. 입력 토큰·출력 토큰 단가가 다르고, 1M 컨텍스트 모드는 별도 단가, 캐시 히트는 또 다른 단가다. “그냥 다 넣으면 되겠지”의 결말은 청구서다.

비용 #2 — 품질 저하 (Context Rot)

Chroma Research(2025-07)의 Context Rot 보고서가 보여준 핵심 발견:

“LLMs do not process context uniformly across input lengths. Even on straightforward tasks, performance degrades as input length increases.”

의역: “LLM은 입력 길이에 관계없이 균일하게 컨텍스트를 처리하지 않는다. 단순한 작업에서도 입력이 길어지면 성능이 떨어진다.”

GPT-4.1, Claude 4, Gemini 2.5, Qwen3 등 18개 모델 모두에서 관찰. 더 무서운 발견:

• 의미 유사도가 낮을수록 길이에 따른 열화가 빠르다.
• distractor(주제는 비슷하지만 틀린 정보)가 있으면 가속.
• 반복 작업조차 입출력이 길어지면 열화.

즉, 컨텍스트를 늘리면 돈도 더 내고 성능도 더 떨어진다. 두 축 모두 손해.

왜 사람들은 컨텍스트를 늘리는가

세 가지 잘못된 직관 때문이다.

1. “많을수록 좋다” — RAG와 NIAH(Needle in a Haystack) 벤치가 만든 환상. NIAH는 단순 검색이지 실제 작업이 아니다.
2. “잘 모르겠으니 다 넣어” — 관련성 선택(relevance selection)을 회피하는 게으름.
3. “캐시되니까 공짜” — 캐시 히트만 싸다. 캐시 미스는 일반 토큰보다 더 비싸다.

폭주의 시그니처

청구서가 터지기 전에 잡을 수 있는 시그니처들.

• 같은 디버그 세션이 100만 토큰을 넘긴다.
• README/CLAUDE.md 합산이 50KB를 넘는다.
• git log, ls -R, 전체 파일 dump를 한 호출에 모두 넣는다.
• subagent 호출마다 전체 컨텍스트를 복사 전달한다.
• 1M 모드를 기본값으로 켜 둔다.

다음

• 02-구조 — 왜 길수록 손해인지 메커니즘