Concepts Fondamentaux
Tokeniseur
Algorithme convertissant du texte brut en une suite de tokens.
Le tokeniseur est le composant qui découpe le texte en unités exploitables par le modèle. Chaque famille de modèles a le sien, et un même texte se découpe en un nombre de tokens différent selon le modèle. C'est un détail souvent oublié dans les comparaisons de coûts : un modèle moins cher au million de tokens peut revenir plus cher en pratique s'il découpe davantage votre texte. Les langues très flexionnelles sont les plus affectées.