Kriterler
HumanEval
Modelin doğru Python fonksiyonu yazma becerisini ölçen kodlama testi.
HumanEval, açıklaması verilen fonksiyonun doğru şekilde yazılıp yazılmadığını otomatik testlerle ölçen bir kıyaslamadır. Kodlama yeteneğinin ilk yaygın ölçütlerindendir. Günümüzde modeller bu testte çok yüksek puan aldığı için, gerçek projelerdeki performansı daha iyi yansıtan SWE-bench gibi testler öne çıkmıştır.