Benchmarks
MMLU
Benchmark, der Wissen und Schlussfolgern in 57 Fachgebieten misst.
MMLU (Massive Multitask Language Understanding) besteht aus Multiple-Choice-Fragen aus 57 Bereichen, von Geschichte über Recht bis zu Mathematik und Medizin. Lange war er der Standard zum Vergleich des Allgemeinwissens von Modellen. Aktuelle Modelle stoßen an die Obergrenze, weshalb seine Trennschärfe nachgelassen hat und härtere Prüfungen wie MMLU-Pro und GPQA an seine Stelle getreten sind.