0 % = englanti · vedä kääntääksesi maapalloa · napsauta maata
Kuinka paljon enemmän tokeneita kieli tarvitsee samaan tekstiin kuin englanti. Enemmän tokeneita tarkoittaa, että kiintiösi loppuu nopeammin, chat muistaa vähemmän ja vastaukset vievät kauemmin. Mitattu samoilla 1 012 lauseella, jotka on käännetty 204 kielelle (FLORES-200).
Tekoälymallit lukevat tekstiä tokeneina. Ennen kuin malli näkee tekstisi, sen tokenisoija pilkkoo sen paloiksi. Maksat tokenilta, chatin muisti lasketaan tokeneina ja vastaukset kirjoitetaan token kerrallaan. Sama lause ChatGPT / Copilot -mallissa:
Tokenitulli on kielen tokenien määrä ÷ englannin tokenien määrä samassa tekstissä, tokenisoijittain. Petrov ym. (2023) esittelivät käsitteen, jotta tokenisointia olisi helpompi verrata kielten välillä, mutta kutsuvat sitä tokenisointipreemioksi.
Tokenitullit lasketaan FLORES-200-aineistosta, jossa samat 1 012 lausetta on käännetty 204 kielelle. Sivu käyttää täsmälleen samaa aineistoa kuin Petrov ym. (commit 365c3f8, 28.11.2023). Kuka tahansa voi toistaa sivun luvut tästä repositoriosta. Useampien tokenisoijien tokenitullit löytyvät tiedostosta data.csv. Nämä ovat täsmälleen ne mallit, joille näytämme luvut:
Jokainen maa on väritetty yhden pääkielen mukaan, mikä yksinkertaistaa monikielisiä maita; jokaisen listan kielen voi tarkistaa erikseen.
Esimerkkilauseet ovat FLORES-200-aineistosta (CC BY-SA 4.0), lähteenä Petrov ym.
Tekijä: Sara Moricz.