Mimari
Uzman Karışımı (MoE)
Her token için model parametrelerinin yalnızca bir bölümünün çalıştırıldığı mimari.
Uzman Karışımı mimarisinde model çok sayıda 'uzman' alt ağa bölünür ve her token için bunlardan sadece birkaçı devreye girer. Böylece toplam parametre sayısı çok büyük olabilirken, tek bir çıkarımın hesaplama maliyeti küçük kalır. Günümüzün büyük modellerinin hem güçlü hem görece ucuz olabilmesinin başlıca sebeplerinden biridir.
İlgili Terimler
Transformer
Modern dil modellerinin neredeyse tamamının dayandığı sinir ağı mimarisi.
Parametre
Sinir ağındaki öğrenilebilir ağırlık; model boyutu milyarlarca parametreyle ölçülür.
Çıkarım (Inference)
Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.
Niceleme (Quantization)
Model ağırlıklarını daha düşük hassasiyete sıkıştırarak bellek ve maliyeti azaltma.