03-실전
03 · 협업 관점에서 본 LLM — 비개발자가 가장 먼저 알아야 할 6가지
섹션 제목: “03 · 협업 관점에서 본 LLM — 비개발자가 가장 먼저 알아야 할 6가지”이 장은 이론에서 실무로 다리를 놓는다. “다음 토큰 확률기”라는 사실 한 줄에서 출발해, 협업 자리에서 곧장 쓰이는 6가지 결론을 끌어낸다.
1. 같은 질문에 다른 답이 나오는 게 정상이다
섹션 제목: “1. 같은 질문에 다른 답이 나오는 게 정상이다”LLM은 매번 확률 분포에서 토큰을 다시 뽑는다. 따라서 동일 입력이라도 출력은 통계적으로 흔들린다. 결정성을 높이고 싶다면 temperature=0 같은 손잡이를 조이는 게 첫 단추지, “왜 어제와 답이 달라?”라고 사람을 다그치는 게 아니다.
실무 메시지: 평가·재현이 필요한 작업은 손잡이를 고정한 채 비교해야 한다. 04장(컨텍스트 윈도우)·05장(환각)에서 확장된다.
2. 토큰 = 돈 = 시간 = 한계
섹션 제목: “2. 토큰 = 돈 = 시간 = 한계”요금·속도·컨텍스트 한계는 모두 토큰 수에 비례한다. 한국어는 BPE 사전상 영어보다 토큰을 더 잡아먹는 경향이 있어, 같은 분량이라도 비용이 더 든다. “프롬프트가 길수록 좋다”는 직관은 위험하다.
실무 메시지: Claude Code의 /compact나 OMC의 컨텍스트 정리 패턴은 본질적으로 토큰 다이어트 다. Part 3 컨텍스트 엔지니어링 챕터에서 본격 다룬다.
3. LLM은 “검색 엔진”이 아니라 “패턴 압축기”다
섹션 제목: “3. LLM은 “검색 엔진”이 아니라 “패턴 압축기”다”모델이 “안다”는 것은 학습 분포에서 본 패턴을 재구성할 수 있다는 뜻이지, DB 레코드를 조회하는 것이 아니다. 그래서:
- 학습 시점 이후의 사실은 모른다(컷오프).
- 아주 드물게 등장한 사실은 흐릿하게 안다.
- 그럴듯하지만 틀린 답을 자신 있게 한다(환각).
해결책은 검색·도구·MCP 로 외부 사실을 모델에 주입 하는 것이다 — Part 8 MCP 생태계와 도구 사용 LLM 챕터에서 다룬다.
4. “프롬프트 엔지니어링”은 곧 “확률 분포 조향”
섹션 제목: “4. “프롬프트 엔지니어링”은 곧 “확률 분포 조향””프롬프트는 단순한 명령이 아니라 “다음 토큰이 어떤 분포가 되도록 모델을 유도하는 컨텍스트” 다. 좋은 프롬프트는 원하는 답이 자연스럽게 가장 높은 확률을 갖도록 분포를 기울인다. Part 4 프롬프트 엔지니어링이 이 한 줄을 풀어낸다.
5. “정답률 100%“는 모델의 본성과 어긋난다
섹션 제목: “5. “정답률 100%“는 모델의 본성과 어긋난다”확률 분포에서 뽑는 함수가 100% 정답을 보장한다는 건 이론적으로 모순이다. 운영의 핵심은 “검증 루프” — 사람·테스트·다른 모델이 결과를 다시 보는 — 이지, “한 번에 맞히는” 모델을 기다리는 것이 아니다. 이 책 전체가 가르치는 OMC의 writer → reviewer → verifier 분리 패스 는 이 사실의 실천판이다.
6. 모델은 “성격”이 아니라 “분포”다
섹션 제목: “6. 모델은 “성격”이 아니라 “분포”다”같은 모델이라도 시스템 프롬프트·온도·도구 구성에 따라 전혀 다른 인격처럼 보인다. “Claude가 이런 사람”이라기보다 “이 하네스·이 프롬프트로 호출했을 때의 Claude 분포가 이런 모양”이라고 생각하면 의인화의 함정이 줄어든다. Part 2 하네스 엔지니어링이 이 사실의 직접 응용이다.
보너스 — 카르파시의 한 줄 추천
섹션 제목: “보너스 — 카르파시의 한 줄 추천”원문: “[A] full training stack of LLMs that power ChatGPT and related products … mental models for thinking about LLMs.”
의역: “ChatGPT를 굴리는 LLM 학습 스택 전부와, LLM을 사고하는 멘탈 모델.”
— Andrej Karpathy, Deep Dive into LLMs (2025)
비개발자·개발자 모두에게 카르파시의 두 영상(Deep Dive into LLMs·How I Use LLMs)이 2025년 시점의 표준 입문서로 자리 잡았다. 이 챕터를 다 읽었다면, 다음 단계는 카르파시 영상을 한 번 흘려 듣는 것이다.
정리 — Part 1 다음 챕터로 가는 다리
섹션 제목: “정리 — Part 1 다음 챕터로 가는 다리”| 이 챕터에서 받은 의문 | 다음 챕터 |
|---|---|
| ”주변 토큰을 보고 의미를 갱신한다는 게 어떻게 가능한가?“ | 02 Transformer와 어텐션 |
| ”그럼 정중함·안전성은 어떻게 학습되나?“ | 03 학습·정렬·RLHF |
| ”긴 문서를 통째로 넣을 수 있나?“ | 04 컨텍스트 윈도우 |
| ”그럴듯하지만 틀린 답은 어떻게 막나?“ | 05 환각과 신뢰도 |
| ”Claude는 어떤 모델이 있고 뭐가 다른가?“ | 06 Claude 모델 패밀리 |
| ”도구를 쓴다는 건 무슨 말인가?“ | 07 도구 사용과 에이전트 |
| ”법적·윤리적으로 무엇을 조심해야 하나?“ | 08 윤리·보안·라이선스 |