01-개념

01. 개념 — Context Rot이라는 현상

Chroma의 보고

Chroma Research(Kelly Hong, Anton Troynikov, Jeff Huber, 2025-07-14)의 “Context Rot: How Increasing Input Tokens Impacts LLM Performance”는 18개 LLM(GPT-4.1, Claude 4, Gemini 2.5, Qwen3 등)을 두고 통제 실험을 했다. 결론은 단호하다.

“LLMs do not process context uniformly across input lengths. Even on straightforward tasks, performance degrades as input length increases.”

의역: “LLM은 입력 길이에 걸쳐 컨텍스트를 균일하게 처리하지 않는다. 단순한 과제에서도 입력이 길어질수록 성능이 떨어진다.”

다섯 가지 핵심 발견

Hamel Husain의 정리(“P6: Context Rot”)로 옮긴다.

1. 의미 매칭 vs 어휘 매칭 — 의미 이해가 필요한 과제일수록 길어질수록 더 빨리 무너진다. 정확한 단어 매칭은 비교적 안정.
2. 방해자(distractor) 효과 — 의미적으로 비슷하지만 틀린 보기가 같이 있으면 성능이 가속도로 떨어진다.
3. 순서의 역설 — 논리적으로 정돈된 문서 보다 무작위로 섞인 haystack 에서 모델이 약간 더 잘했다.
4. 대화형 메모리 — 짧고 관련된 컨텍스트가 패딩된 무관한 정보보다 훨씬 낫다.
5. 단순 작업도 무너진다 — 단순 텍스트 복제조차 입력이 길어지면 깨진다.

NIAH는 거짓말이다

Chroma의 가장 중요한 메시지 중 하나.

“Although models score near-perfectly on Needle in a Haystack (NIAH), it’s fundamentally a simple retrieval task and does not reflect realistic long-context use.”

의역: “모델이 NIAH에서 거의 만점을 받지만, NIAH는 본질적으로 단순 검색 과제이고 현실적인 장문 사용을 반영하지 못한다.”

벤치마크 점수에 속지 말 것.

Drew Breunig의 4가지 실패 모드

긴 컨텍스트가 무너지는 방식을 4가지로 분류한다 — 본 챕터의 어휘.

1. Context Poisoning(컨텍스트 중독) — 환각이나 오류가 컨텍스트에 들어가 반복 인용된다. Gemini 2.5 Pokémon 연구 사례: 게임 상태에 대한 잘못된 정보가 “can often take a very long time to undo” — “되돌리는 데 매우 오래 걸리는” 영구 신념이 된다.
2. Context Distraction(주의 분산) — 약 100K 토큰을 넘어가면 모델이 “vast history rather than synthesizing novel plans” — “새 계획을 합성하지 않고 방대한 이력을 반복” 하는 경향.
3. Context Confusion(혼동) — 무관한 정보를 끼워 넣으면 모델이 그것을 처리할 수밖에 없다. Berkeley FCL: 도구 19개에서는 성공한 Llama 3.1 8B가 도구 46개에서는 실패.
4. Context Clash(충돌) — 정보가 여러 턴에 걸쳐 모이면 충돌하고 추론이 깨진다. Microsoft/Salesforce 연구: 동일 벤치마크 정보를 샤딩(sharding) 해서 여러 메시지에 흩뿌리면 39% 성능 감소.

이름이 있어야 진단이 된다.