0 % = engelsk · træk for at dreje globussen · klik på et land
Hvor mange flere tokens et sprog skal bruge end engelsk til den samme tekst. Flere tokens betyder, at din kvote slipper hurtigere op, at chatten husker mindre, og at svarene tager længere tid. Målt på de samme 1.012 sætninger oversat til 204 sprog (FLORES-200).
AI-modeller læser tekst som tokens. Før en model ser din tekst, deler dens tokenizer den op i stykker. Du betaler per token, chattens hukommelse tælles i tokens, og svarene skrives én token ad gangen. Den samme sætning i ChatGPT / Copilot:
Tokentolden er antallet tokens for et sprog ÷ antallet tokens for engelsk for den samme tekst, per tokenizer. Petrov m.fl. (2023) indførte begrebet for at gøre tokenisering lettere at sammenligne mellem sprog, men kalder det tokeniseringspræmien.
Datasættet, som tokentolden beregnes ud fra, er FLORES-200 med de samme 1.012 sætninger oversat til 204 sprog. Siden bruger nøjagtig de samme data som Petrov m.fl. (commit 365c3f8, 28. nov. 2023). Alle kan genskabe sidens tal fra dette repo. Tokentold for flere tokenizere findes i filen data.csv. Dette er præcis de modeller, vi viser tal for:
Hvert land er farvet efter ét hovedsprog, hvilket forenkler flersprogede lande; hvert sprog på listen kan vælges for sig.
Eksempelsætningerne er fra FLORES-200 (CC BY-SA 4.0) via Petrov m.fl.
Af Sara Moricz.