Ana Kavramlar
Akış (Streaming)
Model çıktısının tamamı beklenmeden, üretildikçe token token gönderilmesi.
Akış, yanıtın tamamlanmasını beklemek yerine her token üretildiği anda istemciye iletilmesidir. Toplam süreyi kısaltmaz ama kullanıcının ilk kelimeyi görme süresini dramatik biçimde düşürür — sohbet arayüzlerinde algılanan hızın tamamı budur. Uzun çıktılarda ayrıca istek zaman aşımlarını da önler.
İlgili Terimler
Gecikme (Latency)
İstek gönderildikten sonra ilk token'ın gelmesine kadar geçen süre.
İşlem Hacmi (Throughput)
Bir modelin saniyede işleyebildiği token ya da istek sayısı.
Tamamlama (Completion)
Modelin bir prompta karşılık ürettiği metin çıktısı.
Çıkarım (Inference)
Eğitilmiş bir modeli çalıştırıp yeni girdilerden çıktı üretme süreci.