01-CoT의-기원
01. CoT의 기원
섹션 제목: “01. CoT의 기원”Wei et al., 2022 — Few-shot CoT
섹션 제목: “Wei et al., 2022 — Few-shot CoT”Wei et al.의 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903)는 다음을 보였다.
- 8개의 사고 사슬 예시를 프롬프트에 넣은 540B 모델이 GSM8K 수학 벤치마크에서 SOTA를 달성
- 같은 모델이 fine-tuned GPT-3 변종을 능가
- 효과는 산술·상식·기호 추론에 모두 나타남
“Chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks.” — Wei et al., 2022
의역: “사고의 사슬 프롬프트는 산술·상식·기호 추론 등 다양한 과제에서 성능을 향상시킨다.”
핵심 통찰은 모델 크기가 충분히 크면 추론 능력이 ‘창발(emerge)‘한다는 것이었다. 이 능력은 fine-tuning 없이 단지 예시의 모양만 바꿔 활성화할 수 있다.
Kojima et al., 2022 — Zero-shot CoT
섹션 제목: “Kojima et al., 2022 — Zero-shot CoT”Kojima et al.은 더 놀라운 결과를 보였다. 예시 없이도, “Let’s think step by step” 한 줄을 프롬프트에 붙이는 것만으로 성능이 폭증한다.
| 벤치마크 | Zero-shot | + “Let’s think step by step” |
|---|---|---|
| MultiArith | 17.7% | 78.7% |
| GSM8K | 10.4% | 40.7% |
“LLMs are decent zero-shot reasoners by simply adding the step-by-step prompt, revealing untapped reasoning capabilities previously underestimated.” — Kojima et al., 2022
의역: “단순히 단계별 사고 프롬프트를 덧붙이는 것만으로 LLM은 꽤 괜찮은 영(零)-샷 추론자가 된다. 이는 그동안 과소평가되었던 잠재적 추론 능력을 드러낸다.”
왜 작동하는가 — 토큰이 사고 공간이다
섹션 제목: “왜 작동하는가 — 토큰이 사고 공간이다”직관적인 설명: LLM은 한 번에 한 토큰씩 출력한다. 매 토큰의 계산량은 일정하다. 따라서 답을 곧바로 내야 하는 프롬프트는 모델이 계산할 수 있는 총량을 제한한다. 사고 사슬은 모델에게 “더 많은 토큰 = 더 많은 계산”을 허락한다.
이는 비유가 아니라 운영 원칙이다. “답만 줘”라고 적으면 어려운 문제에서 정확도가 떨어진다.
Anthropic의 권장
섹션 제목: “Anthropic의 권장”“For complex tasks, give Claude space to think before responding.” — Prompting best practices, Anthropic (요약)
의역: “복잡한 과제에서는 응답하기 전에 Claude에게 사고할 공간을 줘라.”
Claude의 extended thinking 모드는 이 원칙을 모델 수준에서 박은 것이다. 사용자에게 보이지 않는 사고 토큰을 모델이 별도로 생성한다.
CoT를 쓰지 말아야 할 때
섹션 제목: “CoT를 쓰지 말아야 할 때”CoT는 공짜가 아니다.
- 토큰 비용 증가 — 보통 2~5배
- 지연 시간 증가
- 저난도 작업에서는 오히려 산만해지는 경우가 있다 (분류·추출 같은 작업)
- 출력이 길어지면서 형식 강제가 약해진다
원칙: 추론 깊이와 형식 강제는 반비례한다. 둘 다 필요하면 사고는 별도 영역에 두고, 최종 답은 정해진 형식으로 분리한다.