Mimari
Transformer
Modern dil modellerinin neredeyse tamamının dayandığı sinir ağı mimarisi.
Transformer, 2017'de tanıtılan ve dikkat mekanizması üzerine kurulu mimaridir. Kendinden önceki yaklaşımların aksine metni sırayla değil paralel işleyebildiği için çok büyük ölçekte eğitim mümkün hale gelmiştir. Bugünkü tüm büyük dil modelleri bu mimarinin türevleridir.
İlgili Terimler
Dikkat Mekanizması (Attention)
Her token'ın diğer tüm token'larla ilişkisini tartmasını sağlayan çekirdek işlem.
LLM (Büyük Dil Modeli)
Devasa metin yığınlarıyla eğitilmiş, insan gibi metin üreten sinir ağı.
Parametre
Sinir ağındaki öğrenilebilir ağırlık; model boyutu milyarlarca parametreyle ölçülür.
Ön Eğitim (Pre-Training)
Modelin dili sıfırdan öğrendiği, büyük ölçekli ilk eğitim aşaması.