0 % = angļu valoda · velc, lai pagrieztu globusu · noklikšķini uz valsts
Cik vairāk tokenu valodai vajag tam pašam tekstam nekā angļu valodai. Vairāk tokenu nozīmē, ka limits beidzas ātrāk, tērzēšana atceras mazāk un atbildes aizņem ilgāku laiku. Izmērīts uz tiem pašiem 1012 teikumiem, kas tulkoti 204 valodās (FLORES-200).
MI modeļi lasa tekstu kā tokenus. Pirms modelis redz tavu tekstu, tā tokenizators to sagriež gabalos. Tu maksā par tokenu, tērzēšanas atmiņa tiek skaitīta tokenos, un atbildes tiek rakstītas pa vienam tokenam. Tas pats teikums modelī ChatGPT / Copilot:
Tokenu nodoklis ir valodas tokenu skaits ÷ angļu valodas tokenu skaits tam pašam tekstam, katram tokenizatoram atsevišķi. Petrovs u. c. (2023) ieviesa šo jēdzienu, lai tokenizāciju būtu vieglāk salīdzināt starp valodām, bet sauc to par tokenizācijas prēmiju.
Tokenu nodoklis tiek aprēķināts datu kopā FLORES-200, kurā tie paši 1012 teikumi ir tulkoti 204 valodās. Vietne izmanto tieši tos pašus datus kā Petrovs u. c. (commit 365c3f8, 2023. gada 28. nov.). Ikviens var atkārtot skaitļus no šī repozitorija. Tokenu nodoklis citiem tokenizatoriem ir failā data.csv. Šie ir tieši tie modeļi, kuriem rādām skaitļus:
Katra valsts ir iekrāsota pēc vienas galvenās valodas, kas vienkāršo daudzvalodu valstis; katru saraksta valodu var pārbaudīt atsevišķi.
Piemēru teikumi ir no FLORES-200 (CC BY-SA 4.0), ar Petrova u. c. starpniecību.
Autore: Sara Moricz.