0 % = engelsk · dra for å vri globusen · klikk på et land
Hvor mange flere tokens et språk trenger enn engelsk for samme tekst. Flere tokens betyr at kvoten din tar slutt fortere, at chatten husker mindre og at svarene tar lengre tid. Målt på de samme 1 012 setningene oversatt til 204 språk (FLORES-200).
AI-modeller leser tekst som tokens. Før en modell ser teksten din, deler tokeniseringen den opp i biter. Du betaler per token, chattens minne telles i tokens, og svarene skrives én token om gangen. Samme setning i ChatGPT / Copilot:
Tokentollen er antall tokens for et språk ÷ antall tokens for engelsk for samme tekst, per tokeniserer. Petrov mfl. (2023) innførte begrepet for å gjøre tokenisering lettere å sammenligne mellom språk, men kaller det tokeniseringspremien.
Datasettet tokentollene regnes ut fra er FLORES-200, med de samme 1 012 setningene oversatt til 204 språk. Siden bruker nøyaktig samme data som Petrov mfl. (commit 365c3f8, 28. nov. 2023). Hvem som helst kan gjenskape tallene fra dette repoet. Tokentoll for flere tokeniserere finnes i filen data.csv. Dette er nøyaktig de modellene vi viser tall for:
Hvert land er farget etter ett hovedspråk, noe som forenkler flerspråklige land; hvert språk i listen kan velges for seg.
Eksempelsetningene er fra FLORES-200 (CC BY-SA 4.0) via Petrov mfl.
Av Sara Moricz.