02-구조

02. 구조 — Drew Breunig의 6가지 패턴

“How to Fix Your Context”에서 정리된 6가지를 한국어로 옮긴다.

1. RAG (Retrieval-Augmented Generation)

“Selectively add relevant information rather than including everything available, even with massive context windows.” — “엄청난 컨텍스트 윈도우가 있어도 모든 걸 넣지 말고, 관련 있는 것만 선택적으로 추가하라.”

2. Tool Loadout (도구 적재량 관리)

이번 작업에 진짜 필요한 도구만. 의미 기반 선택만으로 +44% 정확도.

3. Context Quarantine (컨텍스트 격리)

태스크를 격리된 스레드로 쪼개고, 각자 자기 컨텍스트 윈도우를 갖게. 멀티 에이전트는 폭(breadth-first) 질의에서 단일 에이전트 대비 +90.2%.

4. Context Pruning (가지치기)

무관한 정보를 적극적으로 제거. Provence 같은 도구는 컨텍스트의 95% 까지 자동 축소 하면서 핵심을 보존.

5. Context Summarization (요약)

누적된 컨텍스트를 짧은 리캡으로 압축. 토큰 한계를 맞추는 것 외에도, 100,000 토큰 이후 모델이 “과거 행동을 반복” 하는 distraction을 막는다.

6. Context Offloading (외부 저장)

스크래치패드·도구·파일에 정보를 둔다. 특화 에이전트 컨텍스트에서 최대 +54% 성능.

코어 원리 한 문장

“Every token in the context influences the model’s behavior, for better or worse.”

의역: “모든 토큰은 좋게든 나쁘게든 모델 행동에 영향을 준다.”

검색 자체도 컨텍스트다

검색 도구의 정의·결과 형식·반환 토큰 수도 컨텍스트의 일부다. RAG가 망가지는 흔한 자리는 “검색이 너무 많이 가져온다” 또는 “검색 결과를 그대로 인라인한다” 두 가지.

두 종류의 검색

	키워드/lexical	의미/semantic
도구	Grep, ripgrep	임베딩 + 벡터 DB
강점	정확한 매칭, 결정적	동의어/의도 매칭
Context Rot 영향	작음	큼 (긴 입력에서 의미 매칭이 더 무너짐 — Chroma 보고)

코드 작업은 lexical이 자주 더 낫다. 자연어 지식 베이스는 semantic이 더 낫다. 둘 다 쓰면 더 낫다(BM25 + 임베딩 하이브리드).