0 % = angol · húzd a földgömb forgatásához · kattints egy országra
Mennyivel több tokent igényel egy nyelv ugyanarra a szövegre, mint az angol. Több token azt jelenti, hogy hamarabb elfogy a keret, a csevegés kevesebbre emlékszik, és a válaszok tovább tartanak. Ugyanazon az 1012 mondaton mérve, 204 nyelvre fordítva (FLORES-200).
Az MI-modellek tokenekként olvassák a szöveget. Mielőtt egy modell látná a szövegedet, a tokenizálója darabokra vágja. Tokenenként fizetsz, a csevegés memóriáját tokenben számolják, a válaszok pedig tokenenként készülnek. Ugyanaz a mondat ebben: ChatGPT / Copilot:
A tokenadó egy nyelv tokenjeinek száma ÷ az angol tokenek száma ugyanarra a szövegre, tokenizálónként. Petrov és mtsai (2023) vezették be a fogalmat, hogy a tokenizálást könnyebb legyen nyelvek között összevetni, de tokenizálási prémiumnak hívják.
A tokenadót a FLORES-200 adathalmazon számoljuk, amely ugyanazt az 1012 mondatot tartalmazza 204 nyelven. Az oldal pontosan ugyanazokat az adatokat használja, mint Petrov és mtsai (commit 365c3f8, 2023. nov. 28.). Bárki újraszámolhatja a számokat ebből a tárolóból. További tokenizálók tokenadója a data.csv fájlban található. Pontosan ezekre a modellekre mutatunk számokat:
Minden ország egy fő nyelve szerint van színezve, ami leegyszerűsíti a többnyelvű országokat; a lista minden nyelve külön is megnézhető.
A példamondatok a FLORES-200-ból valók (CC BY-SA 4.0), forrás: Petrov és mtsai
Szerző: Sara Moricz.