Benchmarks
Perplexität
Maß dafür, wie gut ein Modell einen Text vorhersagt – je niedriger, desto besser.
Die Perplexität misst, wie sehr das Modell von dem Text „überrascht“ wird, den es sieht. Ein niedriger Wert bedeutet gute Vorhersage. Sie eignet sich zur Beobachtung des Trainings, ist aber kein unmittelbarer Qualitätsindikator für den Nutzer: Niedrige Perplexität garantiert keine brauchbare Antwort.
Verwandte Begriffe
MMLU
Benchmark, der Wissen und Schlussfolgern in 57 Fachgebieten misst.
LLM (Großes Sprachmodell)
Neuronales Netz, das auf riesigen Textmengen trainiert wurde, um natürliche Sprache zu erzeugen.
Vortraining (Pre-Training)
Die anfängliche, großskalige Trainingsphase, in der das Modell Sprache lernt.
Tokenizer
Algorithmus, der Rohtext in eine Folge von Tokens umwandelt.