Ana Kavramlar
Tokenizer
Ham metni model için token dizisine dönüştüren algoritma.
Tokenizer, metni modelin işleyebileceği parçalara bölen bileşendir. Her model ailesinin kendi tokenizer'ı vardır ve aynı metin farklı modellerde farklı sayıda token'a bölünür. Bu, maliyet karşılaştırmalarında sık atlanan bir ayrıntıdır: milyon token başına daha ucuz görünen bir model, sizin metninizi daha fazla token'a böldüğü için pratikte daha pahalıya gelebilir. Türkçe gibi ekli diller bu farktan en çok etkilenen dillerdir.