checklist

체크리스트 — Transformer와 어텐션

• “Attention Is All You Need”가 없앤 것은 무엇인가?
• 자기-어텐션 한 단계의 입력·출력은 무엇인가?
• Query/Key/Value의 직관을 한 줄로 말할 수 있는가?
• 멀티-헤드 어텐션이 헤드 1개보다 나은 이유는?
• 위치 인코딩이 필요한 이유는?
• 디코더 전용 모델이 마스크드 자기-어텐션을 쓰는 이유는?
• N² 비용이 협업에 주는 함의는?
• “lost in the middle” 현상에 대응하는 한 가지 실무 팁은?