example-01-self-attention-직관

예시 01 · 자기-어텐션 직관 — 같은 단어, 다른 의미

다음 두 문장을 Claude에 그대로 던져 보면, 같은 단어 “은행”의 해석이 어떻게 달라지는지 확인할 수 있다.

1) "강 옆 은행에 앉아 흐르는 물을 봤다."
2) "월말이라 은행 창구가 붐볐다."

두 문장에서 “은행”의 토큰 표현은 모델 안에서 서로 다른 벡터 로 갱신된다. 1)에서는 “강·옆·물” 같은 토큰이 큰 가중치를 받고, 2)에서는 “월말·창구·붐비다”가 큰 가중치를 받는다. 이것이 자기-어텐션의 효과다.

실험

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-opus-4-6",
    "max_tokens": 200,
    "messages": [{"role":"user","content":"다음 두 문장에서 \"은행\"의 의미를 각각 한 단어로 답하라.\n1) 강 옆 은행에 앉아 흐르는 물을 봤다.\n2) 월말이라 은행 창구가 붐볐다."}]
  }'

기대 응답: 1) 강둑 / 2) 금융기관.

출처

• Jay Alammar, The Illustrated Transformer — sources/05-ai-fundamentals/llm-basics/illustrated-transformer-jay-alammar.md
• Hugging Face NLP Course, How do Transformers work? — sources/05-ai-fundamentals/llm-basics/how-transformers-work-hf-course.md