Mimari

Niceleme (Quantization)

Model ağırlıklarını daha düşük hassasiyete sıkıştırarak bellek ve maliyeti azaltma.

Niceleme, modelin sayısal ağırlıklarını daha az bit kullanan biçimlere (16-bit, 8-bit, hatta 4-bit) dönüştürür. Model küçülür, daha az bellek ister ve daha hızlı çalışır; karşılığında kalitede genellikle küçük bir kayıp olur. Kendi sunucunuzda model çalıştırmayı mümkün kılan başlıca tekniktir.

İlgili Terimler

Çıkarım (Inference)

Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.

İşlem Hacmi (Throughput)

Bir modelin saniyede işleyebildiği token ya da istek sayısı.

Gecikme (Latency)

İstek gönderildikten sonra ilk token'ın gelmesine kadar geçen süre.

Parametre

Sinir ağındaki öğrenilebilir ağırlık; model boyutu milyarlarca parametreyle ölçülür.