Architecture
Modèle de Raisonnement
Variante de modèle qui réfléchit explicitement étape par étape avant de répondre.
Les modèles de raisonnement passent par une phase de « réflexion », masquée ou résumée, avant de produire la réponse. Ils sont nettement meilleurs en mathématiques, en code et sur les problèmes à plusieurs étapes. Le prix en est la vitesse et le coût : les étapes de réflexion sont aussi facturées comme des tokens de sortie, ce qui rend leur usage sur des tâches simples inutilement dispendieux.
Termes Associés
Chaîne de Pensée
Technique consistant à demander au modèle de raisonner étape par étape avant de répondre.
Inférence
Le fait d'exécuter un modèle entraîné pour produire des sorties à partir de nouvelles entrées.
Latence
Le délai entre l'envoi d'une requête et la réception du premier token de réponse.
MMLU
Benchmark mesurant connaissances et raisonnement sur 57 matières.