0 % = engleză · trage ca să rotești globul · dă clic pe o țară
Câți tokeni în plus are nevoie o limbă față de engleză pentru același text. Mai mulți tokeni înseamnă că cota se termină mai repede, că chatul își amintește mai puțin și că răspunsurile durează mai mult. Măsurat pe aceleași 1.012 propoziții traduse în 204 limbi (FLORES-200).
Modelele de IA citesc textul ca tokeni. Înainte ca un model să-ți vadă textul, tokenizatorul îl taie în bucăți. Plătești per token, memoria chatului se numără în tokeni, iar răspunsurile se scriu token cu token. Aceeași propoziție în ChatGPT / Copilot:
Taxa pe tokeni este numărul de tokeni pentru o limbă ÷ numărul de tokeni pentru engleză la același text, pentru fiecare tokenizator. Petrov et al. (2023) au introdus conceptul ca tokenizarea să fie mai ușor de comparat între limbi, dar îl numesc prima de tokenizare.
Taxa pe tokeni se calculează pe setul FLORES-200, care conține aceleași 1.012 propoziții traduse în 204 limbi. Site-ul folosește exact aceleași date ca Petrov et al. (commit 365c3f8, 28 nov. 2023). Oricine poate reproduce cifrele din acest depozit. Taxa pentru alte tokenizatoare este în fișierul data.csv. Acestea sunt exact modelele pentru care arătăm cifre:
Fiecare țară e colorată după o limbă principală, ceea ce simplifică țările multilingve; fiecare limbă din listă poate fi verificată separat.
Propozițiile de exemplu sunt din FLORES-200 (CC BY-SA 4.0) prin Petrov et al.
De Sara Moricz.