컨텍스트 윈도우와 장기 기억의 한계

“Claude가 어제 한 말을 오늘은 모른다”의 정체. LLM의 기억 은 사람의 기억과 다른 메커니즘으로 동작한다.

한 줄 요약

LLM의 컨텍스트 윈도우(Context Window)는 한 번의 요청에 모델이 동시에 볼 수 있는 토큰 수의 상한이다. 이 창 밖으로 빠진 정보는 모델 입장에서 진짜로 사라진다. “장기 기억”은 모델이 아니라 주변 시스템 이 컨텍스트로 다시 주입함으로써만 만들어진다.

누구를 위한 챕터인가

전 사용자.

학습 목표

컨텍스트 윈도우의 단위가 토큰 임을 안다.
“긴 컨텍스트”의 비용이 토큰 수의 제곱에 가깝다는 것을 안다.
컨텍스트 윈도우와 “기억”의 차이를 설명할 수 있다.
“context rot” 현상과 대응 패턴(요약·서브에이전트·just-in-time 검색)을 안다.