01-자기-OK-루프

예시 01 — 자기 OK 루프가 만든 가짜 published

상황

한 팀이 LLM 파이프라인을 만들었다. 단일 슈퍼 프롬프트:

당신은 작가이자 검토자입니다. 챕터를 작성한 뒤,
스스로 검토하여 문제가 없으면 status: published로 표시하세요.

3주 후, published 챕터 47개 중 무작위 5개를 사람이 통독했다. 결과:

• 5개 모두 존재하지 않는 함수를 인용하고 있었다.
• 3개에 깨진 외부 링크가 있었다.
• 1개는 “테스트 통과 확인” 문구가 있었지만, 실제로 테스트 파일이 존재하지 않았다.

무엇이 잘못됐는가

• writer = verifier = 같은 호출. 분리 0개 차원.
• “스스로 검토”는 사후 합리화 압력을 강화. 모델은 자기 글을 옹호.
• published 권한이 LLM에게 있었다. 사람 게이트 없음.

수정

1. writer 호출 (모델: sonnet) → status: writer-pass
2. verifier 호출 (모델: opus, writer scratchpad 미포함) → 게이트 YAML 출력
3. 사람이 게이트 결과 확인 후 published 토글

수정 후 같은 47개를 재검증하니 31개가 fail로 강등됐다. 즉, 원래 published의 66%가 가짜였다.

교훈

• “검토 단계 추가”만으로는 부족하다. 분리가 핵심.
• “스스로”라는 단어가 프롬프트에 들어 있으면 안티패턴.