Fiyatlandırma ve Maliyetler
Bağlam Önbellekleme (Context Caching)
Bağlam önbellekleme, her istekte aynen tekrarlanan bölümü (uzun sistem promptu, sabit belge, araç tanımları) sağlayıcı tarafında saklar ve sonraki isteklerde bu bölümü indirimli fiyatlandırır — genellikle normal girdi fiyatının onda birine. Önbellek bir önek eşleşmesidir: başlangıçtaki tek bir karakter değişirse sonrasındaki her şey geçersiz olur. Bu yüzden değişken içerik (tarih, kullanıcı adı) prompt'un sonuna konur.
İlgili Terimler
Promptunuzdaki token'lar için milyon token başına alınan ücret.
Konuşmadan önce gönderilen, modelin davranışını ve rolünü belirleyen talimat bloğu.
Dil modellerinin metni işlerken kullandığı en küçük birim — ve faturanızın kesildiği birim.
Yanıt üretmeden önce dış bir kaynaktan ilgili belgeleri getirip modele verme yöntemi.