Kriterler
Şaşkınlık (Perplexity)
Modelin bir metni ne kadar iyi tahmin edebildiğini gösteren ölçüt — düşük olan iyidir.
Şaşkınlık, modelin gördüğü metin karşısında ne kadar 'şaşırdığını' ölçer. Düşük değer, modelin metni iyi tahmin edebildiği anlamına gelir. Eğitim sürecini izlemek için kullanışlıdır ama kullanıcı açısından kalitenin doğrudan göstergesi değildir — düşük şaşkınlık, faydalı cevap garantisi vermez.
İlgili Terimler
MMLU
57 farklı alanda bilgi ve akıl yürütmeyi ölçen kıyaslama testi.
LLM (Büyük Dil Modeli)
Devasa metin yığınlarıyla eğitilmiş, insan gibi metin üreten sinir ağı.
Ön Eğitim (Pre-Training)
Modelin dili sıfırdan öğrendiği, büyük ölçekli ilk eğitim aşaması.
Tokenizer
Ham metni model için token dizisine dönüştüren algoritma.