← 목차Part 00 · AI·LLM·에이전트 이론 기초·00-3 · 10분
이 클립 · AI·LLM·에이전트 이론 기초

트랜스포머 기초 — 어텐션을 비유로 이해하기

학습목표: 이 10분이 끝나면 LLM이 문장을 통째로 외워 꺼내는 장치가 아니라, 텍스트를 다음 토큰 예측 문제로 바꾸어 학습한 모델이라는 점을 이해하게 됩니다. [TH-001, TH-002]

또 어텐션, 임베딩, 파라미터, 사전학습을 하나의 도서관 검색 비유로 연결해 코덱스에 무엇을 넣어야 답이 좋아지는지 판단하게 됩니다. [TH-006, TH-007, TH-008, TH-015]

1. 핵심 개념 — 한 문장 정의 + 비유

트랜스포머는 문장 안의 모든 토큰이 동시에 다른 모든 토큰을 살피며, 다음 토큰을 고르는 데 필요한 단서를 모으는 구조입니다. [TH-001, TH-006]

어텐션(attention)은 “지금 이 토큰이 다른 토큰 중 무엇을 더 중요하게 봐야 하는가”를 계산하는 방식입니다. [TH-006]

비유로 말하면 어텐션은 도서관 사서가 질문지를 들고 책등의 라벨을 훑은 뒤, 필요한 책의 내용을 펼쳐 보는 과정과 같습니다. [TH-007]

이때 질문지는 Query, 책등의 라벨은 Key, 실제 책 내용은 Value라고 부르면 됩니다. [TH-007]

임베딩(embedding)은 토큰을 의미 방향과 거리로 표현한 숫자 벡터로 바꾸는 단계입니다. [TH-008]

벡터는 여러 숫자를 한 줄로 묶어 “이 토큰이 어떤 의미 쪽에 가까운가”를 표시하는 좌표라고 생각하면 됩니다. [TH-008]

파라미터=가중치는 모델이 다음 토큰을 더 잘 맞히도록 학습하면서 조정되는 내부 조절값으로 이해하면 충분합니다. [TH-001]

사전학습(pretraining)은 텍스트를 각 위치의 다음 토큰 맞히기 문제로 바꾸어 모델을 먼저 훈련시키는 단계입니다. [TH-001, TH-002]

2. 자세히 들여다보기 — 작동 원리·배경을 초보자 눈높이로

LLM은 우리가 쓰는 단어 그대로를 맞히는 것이 아니라, 토크나이저가 잘게 나눈 subword 토큰을 예측합니다. [TH-002]

토크나이저(tokenizer)는 긴 단어와 문장을 모델이 다룰 수 있는 작은 조각으로 나누는 장치라고 생각하면 됩니다. [TH-002]

예를 들어 모델은 “오늘 점심은” 다음에 올 토큰을 하나씩 예측하는 문제를 반복해서 풉니다. [TH-001, TH-002]

이 반복이 중요한 이유는 다음 토큰 예측만으로도 문법, 사실, 문체, 코드, 추론 구조가 부수적으로 학습되기 때문입니다. [TH-003]

토큰은 곧장 의미를 갖지 않고 먼저 임베딩이라는 숫자 좌표로 바뀝니다. [TH-008]

같은 “배”라는 토큰이라도 “배를 먹었다”에 놓일 때와 “배를 탔다”에 놓일 때, 주변 문맥에 따라 서로 다른 의미 벡터로 다뤄집니다. [TH-008]

그래서 임베딩은 단어장에서 고정된 뜻 하나를 꺼내 오는 방식이 아닙니다. 문맥에 따라 그때그때 달라지는 contextual embedding으로 보아야 합니다. [TH-008]

그다음 셀프어텐션(self-attention)이 들어옵니다. [TH-007]

셀프어텐션은 같은 문장 안의 토큰들이 서로에게 Query, Key, Value를 만들어 보내며 관련 정보를 찾는 과정입니다. [TH-007]

예를 들어 “민지는 수진에게 책을 빌려줬고, 그녀는 고맙다고 말했다”에서 “그녀”가 누구를 가리키는지 보려면 앞의 이름들을 살펴야 합니다. [TH-006, TH-007]

트랜스포머는 이런 살펴보기를 순서대로 한 단어씩만 하는 것이 아니라, 모든 토큰이 동시에 다른 모든 토큰을 보게 만듭니다. [TH-006]

파라미터는 이 과정에서 어느 연결을 더 강하게 볼지에 영향을 주는 내부 가중치로 이해하면 됩니다. [TH-001, TH-006]

훈련 중 모델은 각 위치의 다음 토큰을 맞히도록 학습되고, 그 학습이 누적되며 내부 가중치가 유용한 방향으로 맞춰졌다고 설명할 수 있습니다. [TH-001]

사전학습의 묘미는 여기에 있습니다. 사람이 문법 규칙과 사실표를 일일이 떠먹여 주지 않아도, 다음 토큰 맞히기라는 단순한 문제 하나를 풀게 하는 것만으로 여러 언어 능력이 한꺼번에 길러집니다. [TH-001, TH-003]

3. 2026년 지금은 — 최신 동향·주의점

2026년에 어텐션을 이해해야 하는 이유는 모델 사용의 중심이 “멋진 프롬프트 한 문장”에서 “모델이 볼 전체 컨텍스트 관리”로 옮겨갔기 때문입니다. [TH-015, TH-016]

컨텍스트 윈도우(context window)는 프롬프트, 대화 이력, 첨부, 답변에 들어가는 모든 토큰의 합입니다. [TH-004]

그래서 긴 파일을 많이 넣는 일은 모델에게 더 많은 단서를 주는 일이기도 하지만, 동시에 모델이 살펴야 할 토큰을 늘리는 일이기도 합니다. [TH-004, TH-017]

토큰이 늘어날수록 컨텍스트 안의 정보를 회상하는 정확도가 떨어지는 현상을 context rot이라고 부릅니다. [TH-017]

광고에 적힌 컨텍스트 한도가 늘 믿을 만한 한도와 같지는 않습니다. 20만 토큰은 약 13만 토큰, 100만 토큰은 약 65만 토큰 언저리에서 회상이 무너진 사례가 보고됐으니 한도 숫자만 보고 안심하면 안 됩니다. [TH-005]

컨텍스트 엔지니어링(context engineering)은 추론 시점에 모델이 봐야 할 최적의 토큰 집합을 고르고 유지하는 전략입니다. [TH-015]

프롬프트 엔지니어링은 컨텍스트 엔지니어링의 부분집합이며, 컨텍스트 엔지니어링은 전체 컨텍스트 상태를 관리하는 더 넓은 접근입니다. [TH-016]

4. 비개발자에게 무슨 의미인가 — 코덱스 앱과 어떻게 연결되나

코덱스에 요청할 때 중요한 질문은 “어떻게 멋지게 말하지”가 아니라 “모델이 봐야 할 토큰을 어떤 순서와 묶음으로 줄까”입니다. [TH-015]

긴 배경 설명을 통째로 붙이는 대신 목표, 필요한 자료, 빼야 할 자료, 원하는 결과 형식을 나눠 건네 보세요. 그것만으로도 모델이 볼 컨텍스트를 한결 깔끔하게 큐레이션하는 셈입니다. [TH-015, TH-016]

첨부와 이전 대화를 계속 쌓으면 프롬프트, 이력, 첨부, 답변이 모두 같은 컨텍스트 예산을 쓰므로 필요한 부분만 남기는 습관이 중요합니다. [TH-004, TH-017]

코덱스의 Plugins처럼 외부 도구와 연결되는 흐름은 모델이 타입이 지정된 구조화 호출을 만들고, 앱이 실행 결과를 다시 모델에게 돌려주는 방식으로 이해하면 됩니다. [TH-027]

에이전트형 작업은 LLM이 루프 안에서 자율적으로 도구를 사용하는 구조입니다. [TH-024]

다만 원칙은 가장 단순한 해법을 먼저 찾고, 필요할 때만 복잡도를 올리는 것입니다. [TH-026]

비개발자는 어텐션을 수식으로 외우기보다 “내가 넣은 말 중 어떤 말이 서로 연결되어 답을 만들까”를 점검하면 됩니다. [TH-006, TH-007]

5. 한 줄 정리 + 용어 미니사전

한 줄 정리: 트랜스포머는 토큰을 의미 벡터로 바꾸고, 모든 토큰이 서로를 어텐션으로 살피게 한 뒤, 다음 토큰을 예측하도록 사전학습된 구조입니다. [TH-001, TH-006, TH-008]

출처

본문의 [...] 표기는 아래 근거에서 확인할 수 있습니다.

← LLM은 어떻게 답을 만드나 — 다음 단어 랜덤성과 창의성 — 같은 질문에 다른 답이 →
코덱스 100가지 스킬스 활용 바이블 · 00-3 · 근거 기반 교재 · 2026-06 기준