Mimari
Parametre
Sinir ağındaki öğrenilebilir ağırlık; model boyutu milyarlarca parametreyle ölçülür.
Parametre, eğitim sırasında ayarlanan ve modelin öğrendiği her şeyi taşıyan sayısal değerdir. Model boyutu genelde milyar parametre cinsinden ifade edilir. Daha çok parametre genelde daha çok yetenek anlamına gelir ama bu ilişki doğrusal değildir — mimari ve eğitim verisinin kalitesi en az boyut kadar belirleyicidir.
İlgili Terimler
LLM (Büyük Dil Modeli)
Devasa metin yığınlarıyla eğitilmiş, insan gibi metin üreten sinir ağı.
Transformer
Modern dil modellerinin neredeyse tamamının dayandığı sinir ağı mimarisi.
Niceleme (Quantization)
Model ağırlıklarını daha düşük hassasiyete sıkıştırarak bellek ve maliyeti azaltma.
Uzman Karışımı (MoE)
Her token için model parametrelerinin yalnızca bir bölümünün çalıştırıldığı mimari.