Architektur
Reasoning-Modell
Modellvariante, die vor der Antwort ausdrücklich Schritt für Schritt denkt.
Reasoning-Modelle durchlaufen vor der Antwort eine verborgene oder zusammengefasste „Denkphase“. Bei Mathematik, Code und mehrstufigen Problemen schneiden sie deutlich besser ab. Der Preis sind Geschwindigkeit und Kosten: Auch die Denkschritte werden als Ausgabe-Tokens abgerechnet, weshalb ihr Einsatz für einfache Aufgaben Verschwendung ist.
Verwandte Begriffe
Gedankenkette (Chain of Thought)
Technik, bei der das Modell vor der Antwort Schritt für Schritt schlussfolgern soll.
Inferenz
Das Ausführen eines trainierten Modells, um aus neuen Eingaben Ausgaben zu erzeugen.
Latenz
Die Zeit zwischen dem Absenden einer Anfrage und dem Eintreffen des ersten Antwort-Tokens.
MMLU
Benchmark, der Wissen und Schlussfolgern in 57 Fachgebieten misst.