Ana Kavramlar

Bağlam Penceresi (Context Window)

Bir modelin tek bir istekte işleyebileceği en fazla token sayısı.

Bağlam penceresi, modelin aynı anda 'görebildiği' metin miktarını tanımlar: sistem promptunuz, konuşma geçmişi ve eklediğiniz belgeler bu pencereye sığmak zorundadır. Geniş pencere uzun belge analizi ve uzun sohbetler için gereklidir ama her istekte daha fazla token demek olduğu için maliyeti de artırır. Güncel modeller 128 bin ile 1 milyon token arasında değişir. Pencerenin büyük olması indirim değil, seçenektir — doldurduğunuz kadarını ödersiniz.

İlgili Terimler

Token

Dil modellerinin metni işlerken kullandığı en küçük birim — ve faturanızın kesildiği birim.

Girdi Fiyatı

Promptunuzdaki token'lar için milyon token başına alınan ücret.

Akış (Streaming)

Model çıktısının tamamı beklenmeden, üretildikçe token token gönderilmesi.

RAG (Erişimle Zenginleştirilmiş Üretim)

Yanıt üretmeden önce dış bir kaynaktan ilgili belgeleri getirip modele verme yöntemi.