Ana Kavramlar

İşlem Hacmi (Throughput)

Bir modelin saniyede işleyebildiği token ya da istek sayısı.

İşlem hacmi, ölçekte ne kadar iş çıkarabildiğinizi gösterir. Gecikmeyle karıştırılmamalıdır: gecikme tek bir kullanıcının beklemesi, işlem hacmi ise sistemin toplam kapasitesidir. Toplu işlemlerde ve veri hattı kurgularında asıl önemsenmesi gereken metrik budur.

İlgili Terimler

Gecikme (Latency)

İstek gönderildikten sonra ilk token'ın gelmesine kadar geçen süre.

Toplu İşleme (Batch API)

İstekleri toplu ve eşzamansız gönderip %50 indirim almak.

Çıkarım (Inference)

Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.

Niceleme (Quantization)

Model ağırlıklarını daha düşük hassasiyete sıkıştırarak bellek ve maliyeti azaltma.