03-실전

03 · 협업 사용자가 알아야 할 정렬의 함의

1. “Claude가 거절하는 이유”의 대부분은 RLHF의 흔적

Claude가 특정 요청을 거절하거나 면책 문구를 추가할 때, 이는 사전학습된 베이스 모델의 본성 때문이 아니라 정렬 단계에서 학습된 정책 때문이다. 같은 질문도 표현·맥락에 따라 보상 모델의 점수가 달라지고, 그래서 거절의 강도도 달라진다.

함의: 거절을 만났을 때의 첫 대응은 우회 가 아니라 맥락 명시 다 — 누구에게 왜 필요한지, 어떤 안전 조건 안에서 쓰는지를 분명히 적으면 정렬된 정책이 더 자연스럽게 도와준다. (사용 정책 위반에 해당하는 우회는 금지 — 08장 참조.)

2. RLHF는 환각을 늘리기도 한다

Huyen이 인용한 paradox를 다시 보자.

원문: “RLHF improves performance significantly compared to SFT alone, though it paradoxically increases hallucination while improving overall quality.”
의역: “RLHF는 전반적 품질을 크게 올리지만 환각은 역설적으로 늘기도 한다.” — RLHF: Reinforcement Learning from Human Feedback

이유는 직관적으로 단순하다 — 사람은 “확실하지 않다”는 답보다 “그럴듯하게 들리는” 답을 더 좋아하는 경향이 있다. 보상 모델이 그 선호를 학습하면, 정책은 잘 모르는 영역에서도 자신 있게 그럴듯한 답을 만드는 방향으로 최적화 된다. 이것이 05장(환각)에서 본격적으로 다룰 정렬발 환각의 근원이다.

3. “Constitutional AI”는 사람 라벨 비용을 풀려는 대답

Anthropic의 Constitutional AI는 사람 비교 라벨을 모델 자기 비평 으로 일부 대체한다. 이 접근의 실용적 함의는 두 가지다.

• 정렬 규범이 문서로 명시된다. 보상이 한 명의 라벨러 머릿속이 아니라 “헌법”이라는 명시 텍스트에서 나오므로, 행동 정책의 근거를 추적 하기가 쉽다.
• 자기 검증의 한계도 함께 들어온다. 모델이 모델을 비평하면, 같은 편향이 강화될 위험이 있다. 본 위키의 절대 규칙 §10 “자기 승인 금지”가 직접적으로 이 위험에 대응한다.

4. “안전한 행동”은 학습된 분포일 뿐, 절대 보장이 아니다

정렬은 통계적 향상이지 절대적 안전 보증이 아니다. 보안·법적 책임이 걸린 출력은 반드시 사람·테스트·다른 모델 의 검증 루프를 거쳐야 한다. 본 책 전체가 가르치는 OMC writer→reviewer→verifier 분리 패스는 이 원칙의 운영 형태다(CLAUDE.md §10).

5. 모델 버전이 바뀌면 “성격”도 바뀐다

같은 모델 패밀리 안에서도 RLHF 데이터·헌법 텍스트·디코딩 기본값이 바뀌면 거절률·말투·답변 길이가 함께 바뀐다. 운영 환경에서는 모델 버전을 명시 고정하고, 업그레이드 시 회귀 테스트를 돌리는 것이 표준 습관이다. 06장(Claude 모델 패밀리)에서 다시 다룬다.

정리

• 거절·면책은 정렬의 흔적이지 모델의 본성이 아니다.
• RLHF는 품질을 올리지만 환각도 함께 키울 수 있다.
• Constitutional AI/RLAIF는 사람 라벨 비용을 줄이는 대신 자기 검증의 한계를 안고 들어온다.
• 정렬은 통계적 향상이지 절대적 안전 보증이 아니다.
• 모델 버전 변경은 곧 정책 변경. 회귀 테스트가 필요하다.