0 % = anglais · faites glisser pour tourner le globe · cliquez sur un pays
Combien de tokens de plus une langue demande par rapport à l’anglais pour le même texte. Plus de tokens, c’est un quota épuisé plus vite, un chat qui retient moins et des réponses plus lentes. Mesuré sur les mêmes 1 012 phrases traduites en 204 langues (FLORES-200).
Les modèles d’IA lisent le texte sous forme de tokens. Avant qu’un modèle ne voie votre texte, son tokeniseur le découpe en morceaux. Vous payez au token, la mémoire du chat se compte en tokens et les réponses s’écrivent un token à la fois. La même phrase sur ChatGPT / Copilot :
La taxe sur les tokens est le nombre de tokens d’une langue ÷ le nombre de tokens de l’anglais pour le même texte, par tokeniseur. Petrov et al. (2023) ont introduit ce concept pour comparer plus facilement la tokenisation entre les langues, mais l’appellent la prime de tokenisation.
Les taxes sur les tokens sont calculées à partir de FLORES-200, qui contient les mêmes 1 012 phrases traduites en 204 langues. Ce site utilise exactement les mêmes données que Petrov et al. (commit 365c3f8, 28 nov. 2023). Chacun peut reproduire les chiffres du site à partir de ce dépôt. Les taxes pour d’autres tokeniseurs se trouvent dans le fichier data.csv. Voici exactement les modèles pour lesquels nous donnons des chiffres :
Chaque pays est coloré selon une langue principale, ce qui simplifie les pays multilingues ; chaque langue de la liste peut être consultée séparément.
Les phrases d’exemple viennent de FLORES-200 (CC BY-SA 4.0) via Petrov et al.
Par Sara Moricz.