Ana Kavramlar
Çıkarım (Inference)
Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.
Çıkarım, bir yapay zekâ API'sini her çağırdığınızda olan şeydir: model promptunuzu alır ve yanıt üretir. Eğitimden farkı, modelin ağırlıklarını değiştirmemesidir. Üretimdeki yapay zekâ sistemlerinde maliyetin ana kaynağı çıkarımdır — modelin eğitimi için değil, her çıkarım token'ı için ödeme yaparsınız.
İlgili Terimler
İşlem Hacmi (Throughput)
Bir modelin saniyede işleyebildiği token ya da istek sayısı.
Gecikme (Latency)
İstek gönderildikten sonra ilk token'ın gelmesine kadar geçen süre.
Akış (Streaming)
Model çıktısının tamamı beklenmeden, üretildikçe token token gönderilmesi.
Toplu İşleme (Batch API)
İstekleri toplu ve eşzamansız gönderip %50 indirim almak.