01-Few-shot의-원리

01. Few-shot의 원리

학술적 기원 — GPT-3 (2020)

Brown et al.의 Language Models are Few-Shot Learners (arXiv:2005.14165)는 대형 모델이 가중치 업데이트 없이 소수의 예시만 보고도 새 작업을 학습한다는 것을 보였다. 이 능력을 인-컨텍스트 학습(in-context learning) 이라 부른다.

“GPT-3 achieves competitive performance through in-context learning alone — strong performance on many NLP datasets including translation, question answering, and cloze tasks.” — Brown et al., 2020

의역: “GPT-3는 오로지 인-컨텍스트 학습만으로 번역·질의응답·빈칸 채우기 등 여러 NLP 과제에서 경쟁력 있는 성능을 낸다.”

이 논문은 zero-shot(예시 0개) / one-shot(1개) / few-shot(N개) 라는 용어를 표준화했다.

무엇이 학습되는가 (Min et al., 2022)

Min et al. 연구는 흥미로운 결과를 내놓았다. DAIR.AI 정리에 따르면:

“The label distribution and input text distribution in demonstrations are both significant. The format of examples substantially impacts performance. Even random labels work better than providing no examples.” — Few-Shot Prompting, promptingguide.ai

의역: “예시의 라벨 분포와 입력 텍스트 분포 모두가 중요하다. 예시의 형식이 성능에 큰 영향을 준다. 심지어 라벨이 무작위여도 예시가 아예 없는 것보다 낫다.”

이 발견은 직관과 어긋난다 — 예시가 가르치는 것은 단지 “정답”이 아니라 출력 공간의 모양, 형식, 분포다. 이것이 형식 강제의 근거가 된다.

Few-shot이 잘 되는 작업 / 안 되는 작업

잘 되는	잘 안 되는
분류, 라벨링	다단계 산술 추론
형식 변환 (텍스트 → JSON)	긴 사슬의 논리 연역
톤 일치	새로운 사실의 추가
추출(NER 류)	외부 지식 검색

“Few-shot prompting struggles with complex reasoning tasks. For arithmetic, the model fails even with multiple examples. For intricate reasoning, more advanced prompting techniques like chain-of-thought become necessary.” — Few-Shot Prompting, promptingguide.ai

의역: “복잡한 추론 과제에서는 few-shot이 한계를 보인다. 산술 같은 작업은 예시를 여럿 줘도 실패한다. 정교한 추론에는 사고의 사슬(chain-of-thought) 같은 더 발전된 기법이 필요하다.”

이 한계가 본 파트 4장 CoT와 Plan-Mode로 이어진다.

Anthropic의 입장

“Examples are one of the most reliable ways to steer Claude’s output format, tone, and structure.” — Prompting best practices, Anthropic

의역: “예시는 Claude의 출력 형식·톤·구조를 가장 안정적으로 조정하는 수단 중 하나다.”

요약하면, 예시는 확률 분포의 조향타다. 모델에게 “이런 모양으로 떨어져라”를 가르치는 가장 저렴한 방법이다.