Kriterler

MMLU

57 farklı alanda bilgi ve akıl yürütmeyi ölçen kıyaslama testi.

MMLU (Massive Multitask Language Understanding), tarihten hukuka, matematikten tıbba 57 konuda çoktan seçmeli sorulardan oluşur. Modellerin genel bilgi düzeyini karşılaştırmak için uzun süre standart olmuştur. Güncel modeller bu testte tavana yaklaştığı için ayırt ediciliği azalmıştır; yerini MMLU-Pro ve GPQA gibi daha zor testler almıştır.

İlgili Terimler

HumanEval

Modelin doğru Python fonksiyonu yazma becerisini ölçen kodlama testi.

Şaşkınlık (Perplexity)

Modelin bir metni ne kadar iyi tahmin edebildiğini gösteren ölçüt — düşük olan iyidir.

LLM (Büyük Dil Modeli)

Devasa metin yığınlarıyla eğitilmiş, insan gibi metin üreten sinir ağı.