Conceptos Fundamentales
Tokenizador
Algoritmo que convierte texto en bruto en una secuencia de tokens.
El tokenizador es el componente que parte el texto en unidades procesables por el modelo. Cada familia de modelos tiene el suyo, y un mismo texto se divide en un número distinto de tokens según el modelo. Es un detalle que suele olvidarse al comparar costes: un modelo más barato por millón de tokens puede salir más caro en la práctica si trocea más tu texto. Los idiomas con mucha flexión son los más afectados.