0 % = Engels · sleep om de globe te draaien · klik op een land
Hoeveel meer tokens een taal nodig heeft dan het Engels voor dezelfde tekst. Meer tokens betekent dat je quotum sneller op is, dat de chat minder onthoudt en dat antwoorden langer duren. Gemeten op dezelfde 1.012 zinnen, vertaald in 204 talen (FLORES-200).
AI-modellen lezen tekst als tokens. Voordat een model je tekst ziet, knipt de tokenizer hem in stukjes. Je betaalt per token, het geheugen van de chat wordt in tokens geteld en antwoorden worden token voor token geschreven. Dezelfde zin in ChatGPT / Copilot:
De tokenbelasting is het aantal tokens voor een taal ÷ het aantal tokens voor het Engels bij dezelfde tekst, per tokenizer. Petrov et al. (2023) introduceerden het begrip om tokenisatie makkelijker tussen talen te vergelijken, maar noemen het de tokenisatiepremie.
De tokenbelasting wordt berekend op FLORES-200, met dezelfde 1.012 zinnen vertaald in 204 talen. Deze site gebruikt precies dezelfde data als Petrov et al. (commit 365c3f8, 28 nov. 2023). Iedereen kan de cijfers narekenen met deze repo. De tokenbelasting voor meer tokenizers staat in het bestand data.csv. Dit zijn precies de modellen waarvoor we cijfers tonen:
Elk land is gekleurd naar één hoofdtaal, wat meertalige landen vereenvoudigt; elke taal in de lijst kun je apart bekijken.
De voorbeeldzinnen komen uit FLORES-200 (CC BY-SA 4.0) via Petrov et al.
Door Sara Moricz.