LLM이란 무엇인가 — 토큰·확률·생성

LLM이란 무엇인가 — 토큰·확률·생성

Claude와 협업하기 전에 알아야 할 가장 작은 멘탈 모델. “거대 언어 모델(Large Language Model, LLM)“이 실제로 무엇을 계산하는지 한 번만 정리해 두면, 이후 모든 챕터의 용어가 자연스럽게 풀린다.

한 줄 요약

LLM은 텍스트를 작은 조각인 토큰(Token)으로 쪼갠 뒤, “지금까지 본 토큰을 보고 다음 토큰의 확률 분포를 계산”하는 함수다. 그 확률에서 한 토큰을 뽑고, 결과를 다시 입력에 붙여서 반복한다 — 이것이 전부다.

누구를 위한 챕터인가

비개발자 포함 전 사용자. “AI가 마법처럼 답을 안다”는 인상을 한 단계 낮춰, 확률적 다음-토큰 예측기(probabilistic next-token predictor) 라는 정확한 출발선에 서기 위함.

학습 목표

• LLM이 단어가 아닌 토큰 단위로 동작한다는 것을 설명할 수 있다.
• “다음 토큰의 확률 분포”라는 개념을 일상어로 풀어낼 수 있다.
• 디코딩(Decoding) 전략(탐욕·빔·top-k·top-p·temperature)이 출력 다양성을 어떻게 바꾸는지 직관으로 안다.
• LLM이 지식 데이터베이스가 아니라 학습된 패턴 압축기임을 받아들인다.

선수 지식

없음. 이 챕터가 Part 1 전체의 출발점이다.