03-실전

03 · Claude를 다룰 때 알아야 할 어텐션 사실들

1. “긴 컨텍스트가 무료가 아니다”의 진짜 이유

자기-어텐션은 입력 토큰 N개에 대해 N×N 크기의 가중치 행렬을 다룬다. 즉 연산량과 메모리가 N²에 비례한다. 100배 긴 입력을 넣으면 어텐션 비용은 1만 배가 된다는 뜻이다. 현대 모델은 슬라이딩 윈도우·그룹 쿼리 어텐션 같은 변형으로 이 비용을 줄이지만, 본질은 변하지 않는다.

원문: “Mistral … leveraging grouped-query attention for faster inference and sliding window attention to handle sequences of arbitrary length.”
의역: “Mistral은 그룹 쿼리 어텐션으로 추론을 가속하고, 슬라이딩 윈도우 어텐션으로 임의 길이의 시퀀스를 다룬다.”
— Hugging Face, How do Transformers work?

협업의 함의: “긴 프롬프트”는 비용·지연·품질 모두에서 비싸다. 04장(컨텍스트 윈도우)에서 정량적으로 다룬다.

2. “관련성”이 곧 “답”이다 — 컨텍스트 위생의 근거

어텐션이 결정하는 것은 결국 어떤 입력 토큰이 다음 토큰 결정에 영향을 줄 것인가 다. 컨텍스트에 무관한 토큰을 잔뜩 섞어 두면, 모델은 그 토큰들에도 작지만 0이 아닌 가중치를 준다. 결과: 답이 흐려지고, 때로는 무관한 컨텍스트로 끌려간다. 이것이 Part 3의 “컨텍스트 엔지니어링”이 단순한 정리 정돈을 넘어 모델 성능에 직접 영향을 주는 이유다.

3. 멀티-헤드 어텐션의 해석은 생각보다 어렵다

“각 헤드가 어떤 의미적 역할을 한다”고 직관적으로 말하지만, 실제 학습된 헤드는 사람이 깔끔히 분류하기 어려운 혼합 패턴을 띤다. “어떤 헤드가 무엇을 보는지”를 들여다보는 일(어텐션 시각화)은 디버깅 도구이지 설명의 보증이 아니다. 의인화의 한 사례.

4. 트랜스포머는 “기억”이 아니라 “재계산”

채팅 세션이 길어질 때 Claude가 “기억”하는 것은 사실 매번 새로 들어가는 컨텍스트다. 이전 메시지가 컨텍스트 윈도우에서 빠져나가면 모델은 그 정보를 진짜로 잊는다. Anthropic의 Effective Context Engineering for AI Agents 글은 이 사실을 정면으로 다루며 “장기 트라젝토리”의 컨텍스트 관리 기법(요약·서브에이전트·just-in-time 검색)을 권한다.

원문: “Frames ‘context engineering’ as the successor to ‘prompt engineering’ once agents run for many turns: the question is not what fits in one prompt but what survives across the whole trajectory.”
의역: “에이전트가 여러 턴을 도는 순간, 질문은 ‘한 프롬프트에 무엇을 넣을까’가 아니라 ‘트라젝토리 전체에서 무엇이 살아남는가’로 바뀐다.” — Effective Context Engineering for AI Agents

5. 위치 정보의 한계 — “긴 문서의 중간이 무시된다” 현상

위치 인코딩과 어텐션의 결합이 충분히 길이를 견디지 못하면, 입력 중간에 둔 정보가 양 끝에 둔 정보보다 약하게 반영되는 경향이 관찰된다(소위 “lost in the middle”). 따라서 긴 문서를 모델에 넘길 때는 핵심 정보를 처음·끝 근처에 배치하는 것이 안전하다. 이 현상의 정량적 증거는 Part 3·Part 4의 컨텍스트·평가 챕터에서 인용한다.

6. 정리

• 어텐션 = N² 비용. 긴 컨텍스트는 공짜가 아니다.
• 무관한 컨텍스트는 답을 흐린다. 컨텍스트 위생이 곧 품질.
• 멀티-헤드 해석은 보조 도구이지 설명의 보증이 아니다.
• 컨텍스트 윈도우에서 빠진 정보는 진짜로 잊힌다.
• 긴 문서에서는 핵심을 양 끝 근처에 배치하라.