01-개념

01 · 어텐션이라는 한 가지 아이디어

동기 — 고정된 컨텍스트 벡터의 한계

2017년 이전의 신경망 번역 모델은 보통 RNN 기반 인코더-디코더 구조였고, 입력 문장 전체를 고정 길이의 벡터 한 개 로 압축한 뒤 디코더에 넘겼다. 문장이 길수록 이 한 벡터에 정보가 다 담기지 못해 번역 품질이 빠르게 무너졌다. Lilian Weng은 이 한계가 어텐션 등장의 직접적 동기였다고 정리한다.

원문: “The traditional encoder-decoder architecture uses a fixed-length context vector, which struggles with long sequences. This limitation motivated the development of attention mechanisms.”
의역: “전통적인 인코더-디코더 구조는 고정 길이 컨텍스트 벡터를 쓰는데, 긴 문장에서 망가진다. 이 한계가 어텐션이 등장한 직접 이유다.”
— Lilian Weng, Attention? Attention! (sources/05-ai-fundamentals/llm-basics/attention-attention-lilian-weng.md)

핵심 아이디어는 단순하다 — 디코더가 다음 단어를 만들 때, 입력 문장의 모든 위치를 다시 들여다보되 위치마다 가중치를 다르게 주자. 이 가중치 벡터가 곧 어텐션이다. Weng의 표현을 빌리면 어텐션은 “중요도 가중치 벡터(a vector of importance weights)” 다.

”주변을 본다”의 의미 — 동음이의어 예시

Jay Alammar의 Illustrated Transformer는 자기-어텐션(self-attention)의 효과를 가장 짧은 예시로 보여 준다.

원문: “When processing the word ‘it’ in a sentence like ‘The animal didn’t cross the street because it was too tired,’ self-attention helps the model connect ‘it’ to ‘animal.’”
의역: “‘동물이 너무 피곤해서 길을 건너지 않았다’에서 ‘it’을 처리할 때, 자기-어텐션이 ‘it’을 ‘animal’과 연결해 준다.”
— Jay Alammar, The Illustrated Transformer (sources/05-ai-fundamentals/llm-basics/illustrated-transformer-jay-alammar.md)

같은 단어 “it”이 어떤 문장에서는 “동물”을, 다른 문장에서는 “거리”를 가리킨다. 모델은 이 결정을 문맥의 다른 토큰들과의 관련성 가중치 로 내린다. Hugging Face NLP Course도 “you like this course”의 프랑스어 번역 예로 같은 직관을 짚는다 — 동사 “like”의 활용형은 주어 “you”에 의존하므로, 모델은 “like”를 처리하는 동안 “you”에 더 큰 가중치를 줘야 한다.

”Attention Is All You Need” — 무엇을 없앴고, 무엇을 남겼나

2017년 트랜스포머 논문의 진짜 주장은 “순환(recurrence)을 빼고 어텐션만으로 충분하다” 였다. 이전 모델은 RNN/LSTM으로 단어를 한 토큰씩 직렬 처리했지만, 트랜스포머는 모든 토큰을 동시에 처리한다. 어텐션이 위치 간 관계를 직접 다루기 때문에, 직렬 RNN이 필요 없다는 게 핵심 통찰이다.

대가도 있다. 동시 처리는 순서 정보를 잃는다. 그래서 트랜스포머는 토큰 임베딩에 위치 인코딩(Positional Encoding) 을 더한다.

원문: “Since the model processes words in parallel rather than sequentially, it needs explicit positional information. The architecture adds position-specific vectors to word embeddings, using sine and cosine functions to encode word positions.”
의역: “단어를 순차가 아니라 병렬로 처리하므로, 명시적 위치 정보가 필요하다. 트랜스포머는 위치별 벡터(주로 사인·코사인 기반)를 단어 임베딩에 더해 위치를 부호화한다.”
— The Illustrated Transformer

멀티-헤드 — 여러 관점에서 동시에 본다

자기-어텐션 한 번이면 충분할 것 같지만, 트랜스포머는 같은 어텐션 연산을 여러 개 병렬로 둔다. Alammar의 정리에 따르면 원 논문은 헤드를 8개 사용한다.

원문: “Rather than using a single attention mechanism, the Transformer employs eight parallel attention heads. This approach lets different heads focus on different aspects—one might prioritize ‘animal’ while another focuses on ‘tired’—providing richer contextual understanding.”
의역: “트랜스포머는 어텐션을 한 개가 아니라 8개를 병렬로 둬서, 각 헤드가 서로 다른 측면을 잡도록 한다. 한 헤드는 ‘animal’을, 다른 헤드는 ‘tired’를 더 중요하게 보는 식이다.”

이 다중 시점 덕분에 모델은 같은 토큰에 대해 문법적 관계 와 의미적 연관 을 동시에 추적할 수 있다.

정리 — 한 단어로 말한다면

• 어텐션 = “지금 토큰이 다른 어떤 토큰을 얼마나 봐야 하는가”의 가중치.
• 트랜스포머 = 어텐션을 다중 헤드·다층으로 쌓고, 위치 인코딩을 더한 골격.
• “Attention Is All You Need”의 진짜 주장은 어텐션 만세 가 아니라 RNN 빼도 된다.
• 동음이의어·장거리 의존·문맥 의존 활용형 등 자연어의 까다로운 부분은 거의 다 어텐션이 푼다.