02-구조
02 — 구조: 폭주의 메커니즘
섹션 제목: “02 — 구조: 폭주의 메커니즘”메커니즘 1 — 누적 청구
섹션 제목: “메커니즘 1 — 누적 청구”대화형 세션은 매 턴마다 전체 히스토리를 다시 보낸다. 100턴짜리 세션의 100번째 턴은 100배의 입력을 청구받는다. 이 사실을 잊으면 청구서가 산다.
대응: 캐시(prompt caching)가 일부 완화하지만, 캐시 무효화 조건을 정확히 알아야 한다 — 시스템 프롬프트 한 글자만 바뀌어도 캐시는 전부 무효화된다.
메커니즘 2 — Context Rot 곡선
섹션 제목: “메커니즘 2 — Context Rot 곡선”Chroma 리포트의 핵심 그래프는 단조감소가 아니다 — 비선형으로 떨어진다. 짧은 컨텍스트에서는 거의 평탄하다가, 어느 임계점을 넘으면 급격히 열화. 임계점 위치는 작업 종류·distractor 양에 따라 다르다.
“Counterintuitively, models perform better on shuffled haystacks than logically coherent ones.”
의역: “직관과 반대로, 모델은 논리적으로 정돈된 긴 컨텍스트보다 섞인 컨텍스트에서 더 잘 수행한다.”
이 발견은 “잘 정리해서 넣으면 괜찮을 거야”라는 직관을 깨뜨린다. 길면 그냥 길어서 손해.
메커니즘 3 — 1M 모드의 함정
섹션 제목: “메커니즘 3 — 1M 모드의 함정”Claude 1M 컨텍스트 모드는 단가가 다르다(보통 2배). 기본으로 켜 두면 짧은 호출도 1M 단가로 청구된다. 1M는 큰 작업 한 번을 위해 켜고 끄는 모드여야 한다.
메커니즘 4 — 마켓플레이스 청구
섹션 제목: “메커니즘 4 — 마켓플레이스 청구”Azure AI Foundry, AWS Bedrock 등 재판매(reseller) 경로는 청구가 전혀 다른 회계 시스템을 거친다. 마이크로소프트 스타트업 크레딧을 적용받지 못한 Leach 사례가 정확히 이 함정.
“Cloud marketplace billing is a separate accounting system from the cloud’s own credits.” — Tominaga 회고
의역: “클라우드 마켓플레이스 청구는 그 클라우드의 자체 크레딧과 별개의 회계 시스템이다.”
크레딧이 자동으로 적용된다고 가정하지 말라. 트래픽을 보내기 전에 확인.
메커니즘 5 — Sub-agent 컨텍스트 복사
섹션 제목: “메커니즘 5 — Sub-agent 컨텍스트 복사”멀티 에이전트 파이프라인의 흔한 실수: 부모가 자식에게 전체 컨텍스트를 복사 전달한다. 자식이 5개면 청구는 5배. 게다가 자식들도 길어진 컨텍스트로 Context Rot의 손해를 본다.
대응: 자식에게는 그 자식이 필요한 최소한만. Anthropic 멀티 에이전트 연구 시스템 글의 핵심 권고.