anti-patterns

안티패턴 — 어텐션을 잘못 이해할 때

1. “긴 컨텍스트 = 좋은 컨텍스트”

어텐션 비용은 토큰 수의 제곱에 비례한다. 무관한 내용을 잔뜩 채우면 비용·지연·품질이 모두 나빠진다. (The Illustrated Transformer; Anthropic, Effective Context Engineering for AI Agents)

2. “어텐션 시각화 = 모델 설명”

멀티-헤드 어텐션의 패턴은 사람이 깔끔히 분류하기 어렵다. 시각화는 디버깅 보조이지 설명의 보증이 아니다.

3. “Claude가 기억한다”

세션 메모리는 매번 컨텍스트로 다시 들어가는 것이지, 모델 안에 누적되는 게 아니다. 윈도우에서 빠지면 진짜로 잊힌다.

4. “긴 문서를 그대로 던지기”

긴 문서는 중간 정보가 약하게 반영되는 경향이 있다(lost in the middle). 핵심을 양 끝 근처에 두거나 요약·인덱싱하라.

5. RNN인 듯 트랜스포머를 다루기

“앞에서부터 천천히 읽힐 것”이라는 직관은 디코딩에서는 맞지만 학습/추론 본체는 병렬이다. 따라서 위치 정보는 모델이 부호화 해서만 알 수 있다. 토큰 순서를 임의로 섞으면 의미가 깨진다.