Ana Kavramlar
Gecikme (Latency)
İstek gönderildikten sonra ilk token'ın gelmesine kadar geçen süre.
Gecikme, kullanıcının beklediği süredir. Sohbet, otomatik tamamlama ve etkileşimli araçlarda her şeyi belirler; gece çalışan toplu işlerde neredeyse hiçbir şeyi. Bu ayrım önemlidir: arka plan işlerinde gecikmeyi yetenekle takas etmek genellikle doğru karardır, etkileşimli üründe değildir.
İlgili Terimler
İşlem Hacmi (Throughput)
Bir modelin saniyede işleyebildiği token ya da istek sayısı.
Akış (Streaming)
Model çıktısının tamamı beklenmeden, üretildikçe token token gönderilmesi.
Çıkarım (Inference)
Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.
Niceleme (Quantization)
Model ağırlıklarını daha düşük hassasiyete sıkıştırarak bellek ve maliyeti azaltma.