0 % = engleski · povucite za okretanje globusa · kliknite državu
Koliko više tokena jezik treba od engleskog za isti tekst. Više tokena znači da vam kvota prije istekne, da chat pamti manje i da odgovori traju dulje. Izmjereno na istih 1.012 rečenica prevedenih na 204 jezika (FLORES-200).
Modeli umjetne inteligencije čitaju tekst kao tokene. Prije nego što model vidi vaš tekst, tokenizator ga reže na komadiće. Plaćate po tokenu, memorija chata broji se u tokenima, a odgovori se pišu token po token. Ista rečenica u ChatGPT / Copilot:
Porez na tokene je broj tokena za jezik ÷ broj tokena za engleski za isti tekst, za svaki tokenizator zasebno. Petrov i sur. (2023) uveli su pojam kako bi se tokenizacija lakše uspoređivala među jezicima, ali ga nazivaju tokenizacijskom premijom.
Porez na tokene računa se na skupu FLORES-200, koji sadrži istih 1.012 rečenica prevedenih na 204 jezika. Stranica koristi potpuno iste podatke kao Petrov i sur. (commit 365c3f8, 28. 11. 2023.). Svatko može ponoviti brojke iz ovog repozitorija. Porez za ostale tokenizatore nalazi se u datoteci data.csv. Ovo su upravo modeli za koje prikazujemo brojke:
Svaka je država obojena prema jednom glavnom jeziku, što pojednostavljuje višejezične države; svaki jezik s popisa može se provjeriti zasebno.
Primjeri rečenica su iz FLORES-200 (CC BY-SA 4.0) preko Petrova i sur.
Autorica: Sara Moricz.