0 % = anglès · arrossega per girar el globus · fes clic en un país
Quants tokens més necessita una llengua que l’anglès per al mateix text. Més tokens vol dir que la quota s’acaba abans, que el xat recorda menys i que les respostes triguen més. Mesurat amb les mateixes 1.012 frases traduïdes a 204 llengües (FLORES-200).
Els models d’IA llegeixen el text com a tokens. Abans que un model vegi el teu text, el seu tokenitzador el talla a trossos. Pagues per token, la memòria del xat es compta en tokens i les respostes s’escriuen token a token. La mateixa frase a ChatGPT / Copilot:
L’impost dels tokens és el nombre de tokens d’una llengua ÷ el nombre de tokens de l’anglès per al mateix text, per tokenitzador. Petrov et al. (2023) van introduir el concepte per comparar més fàcilment la tokenització entre llengües, però l’anomenen prima de tokenització.
L’impost dels tokens es calcula amb FLORES-200, que conté les mateixes 1.012 frases traduïdes a 204 llengües. Aquest web fa servir exactament les mateixes dades que Petrov et al. (commit 365c3f8, 28 nov. 2023). Tothom pot reproduir les xifres a partir d’aquest repositori. L’impost per a més tokenitzadors és al fitxer data.csv. Aquests són exactament els models dels quals donem xifres:
Cada país està acolorit segons una llengua principal, cosa que simplifica els països multilingües; cada llengua de la llista es pot consultar per separat.
Les frases d’exemple són de FLORES-200 (CC BY-SA 4.0) via Petrov et al.
Per Sara Moricz.