01-개념

01 · 정렬(Alignment)이라는 문제

사전학습만으로는 부족한 이유

01장에서 본 대로 사전학습의 학습 신호는 단 하나 — “다음 토큰을 잘 맞히기”다. 이 목표만 달성하면, 모델은 인터넷에 흔한 어떤 말투든 자유롭게 흉내 낼 수 있다. 정중한 답도, 무례한 답도, 위험한 답도 모두 학습 분포의 일부이기 때문이다. Chip Huyen은 이 상태를 “untamed completion machine”이라고 부른다.

원문: “[Pretraining] creates a powerful but ‘untamed’ completion machine that mimics whatever data it saw.”
의역: “사전학습은 강력하지만 길들지 않은 자동 완성기를 만든다 — 본 데이터를 무엇이든 흉내 낸다.”
— Chip Huyen, RLHF: Reinforcement Learning from Human Feedback (sources/05-ai-fundamentals/llm-basics/rlhf-chip-huyen.md)

따라서 두 가지 추가 학습이 필요하다.

1. 지도 미세조정(Supervised Finetuning, SFT) — “이런 질문에는 이렇게 답해라”라는 시범 데이터로 행동 양식을 잡는다. Huyen은 이를 “behavior cloning”이라고 부른다.
2. 인간 피드백 강화학습(Reinforcement Learning from Human Feedback, RLHF) — 사람이 모델 답변 두 개를 비교해 선호를 매기고, 그 선호로 보상 모델을 학습한 뒤, 강화학습으로 본 모델을 그 보상 신호에 맞춰 최적화한다.

이 두 단계를 통틀어 흔히 정렬(Alignment) 이라고 부른다 — 모델의 행동을 사람이 원하는 방향에 맞춰 정렬 한다는 뜻이다.

왜 “직접 점수”가 아니라 “비교 선호”인가

Hugging Face의 Illustrating RLHF는 보상 모델이 사람에게 직접 점수를 받지 않고 “어느 답이 더 나은가”의 head-to-head 비교만으로 학습되는 이유를 짚는다.

원문: “Uses human annotators to rank model outputs (rather than assigning direct scores, which are noisy). Successful methods use head-to-head comparisons and Elo ranking systems.”
의역: “직접 점수를 매기면 노이즈가 크기 때문에, 성공적인 RLHF는 출력 쌍을 비교하고 Elo 같은 랭킹 체계를 쓴다.”
— Hugging Face, Illustrating Reinforcement Learning from Human Feedback

직접 점수(“이 답은 7점”)는 사람마다 기준이 흔들린다. 하지만 “A와 B 중 A가 더 낫다” 같은 비교는 훨씬 안정적이다 — Huyen이 인용한 통계로 비교 라벨링의 라벨러 간 합의율은 약 73%다(그 자체로 완벽하진 않지만 점수 부여보다 훨씬 일관적).

”주관적” 품질을 학습하기

크로스 엔트로피 같은 단순 손실 함수로는 창의성·유용성·정중함 같은 주관적 품질을 직접 잡기 어렵다. RLHF의 진짜 가치는 바로 이 지점이다.

원문: “RLHF leverages human feedback to optimize models for qualities that are subjective and context-dependent (creativity, truthfulness, code correctness, etc.).”
의역: “RLHF는 사람의 피드백을 써서, 주관적이고 문맥 의존적인 품질(창의성·진실성·코드 정확성 등)에 맞춰 모델을 최적화한다.” — Illustrating RLHF

정리

• 사전학습된 LLM은 정중함·안전성을 기본값으로 보장하지 않는다.
• 정렬 = SFT(시범) + RLHF(선호)의 두 단계.
• RLHF가 직접 점수가 아닌 비교 선호를 쓰는 이유는 라벨 안정성.
• 주관적 품질을 손실 함수로 잡기 어렵기 때문에 사람이 루프 안에 들어온다.