Grundkonzepte
Top-P (Nucleus Sampling)
Strategie, die die Auswahl auf die kleinste Tokenmenge mit einer bestimmten Gesamtwahrscheinlichkeit begrenzt.
Top-P sortiert die möglichen Tokens nach Wahrscheinlichkeit und behält nur so viele, bis die Schwelle P erreicht ist; der Rest entfällt. Es ist eine Alternative zur Temperatur für die Steuerung der Vielfalt; beides gleichzeitig zu verstellen wird selten empfohlen. Im Produktivbetrieb bleibt der Standardwert meist die beste Wahl.