0 % = anglų kalba · vilkite, kad pasuktumėte gaublį · spustelėkite šalį
Kiek daugiau žetonų (tokenų) kalbai reikia tam pačiam tekstui nei anglų kalbai. Daugiau žetonų reiškia, kad limitas baigiasi greičiau, pokalbis prisimena mažiau, o atsakymai užtrunka ilgiau. Išmatuota tuose pačiuose 1 012 sakinių, išverstų į 204 kalbas (FLORES-200).
DI modeliai skaito tekstą kaip žetonus. Prieš modeliui pamatant jūsų tekstą, jo tokenizatorius supjausto jį dalimis. Mokate už žetoną, pokalbio atmintis skaičiuojama žetonais, o atsakymai rašomi po vieną žetoną. Tas pats sakinys modelyje ChatGPT / Copilot:
Žetonų mokestis yra kalbos žetonų skaičius ÷ anglų kalbos žetonų skaičius tam pačiam tekstui, kiekvienam tokenizatoriui atskirai. Petrovas ir kt. (2023) įvedė šią sąvoką, kad tokenizaciją būtų lengviau palyginti tarp kalbų, bet vadina ją tokenizacijos premija.
Žetonų mokestis skaičiuojamas FLORES-200 duomenų rinkinyje, kuriame tie patys 1 012 sakinių išversti į 204 kalbas. Svetainė naudoja lygiai tuos pačius duomenis kaip Petrovas ir kt. (commit 365c3f8, 2023 m. lapkričio 28 d.). Bet kas gali atkartoti skaičius iš šios saugyklos. Žetonų mokestis kitiems tokenizatoriams yra faile data.csv. Tai būtent tie modeliai, kuriems rodome skaičius:
Kiekviena šalis nuspalvinta pagal vieną pagrindinę kalbą, o tai supaprastina daugiakalbes šalis; kiekvieną sąrašo kalbą galima patikrinti atskirai.
Pavyzdiniai sakiniai paimti iš FLORES-200 (CC BY-SA 4.0) per Petrovą ir kt.
Autorė: Sara Moricz.