Mimari
Dikkat Mekanizması (Attention)
Her token'ın diğer tüm token'larla ilişkisini tartmasını sağlayan çekirdek işlem.
Dikkat mekanizması, bir kelimenin anlamını belirlerken cümledeki diğer kelimelerin hangilerinin ne kadar önemli olduğunu hesaplar. 'Onu masaya koydum' cümlesindeki 'onu'nun neye işaret ettiğini modelin çözebilmesi bu sayededir. Hesaplama maliyeti metin uzunluğunun karesiyle arttığı için, uzun bağlam pencerelerinin pahalı olmasının teknik nedeni de budur.