프롬프트 평가와 회귀 테스트

프롬프트 평가와 회귀 테스트

“더 좋아진 것 같다”는 의견이고, 회귀 세트의 수치는 사실이다. 평가 없는 프롬프트 튜닝은 기도와 다르지 않다.

한 줄 요약

프롬프트는 코드처럼 다뤄야 한다. 버전·테스트·CI·롤백이 있는 자산. 평가 세트가 먼저 있고, 그 위에서만 “개선”이라는 단어가 의미를 가진다.

누구를 위한 챕터인가

LLM 출력을 운영에 쓰는 모든 개발자. 특히 프롬프트를 코드와 함께 배포하는 팀.

선수 지식

• Part 4/01 — 5원칙
• Part 4/03 — Few-shot & 형식 강제 (형식 적합률 측정)

학습 목표

• “프롬프트 평가가 먼저”라는 Anthropic의 입장 근거를 안다
• 평가 세트(eval set)를 직접 만들 수 있다
• 정확도 / 형식 적합률 / 비용 / 지연을 함께 추적할 수 있다
• LLM-as-a-judge의 한계와 사용 조건을 안다
• SWE-bench 같은 학술 벤치마크가 산업 평가에 주는 교훈을 안다