0 % = angličtina · tažením otočíte glóbus · klikněte na zemi
Kolik tokenů navíc potřebuje jazyk oproti angličtině na stejný text. Víc tokenů znamená, že vám dřív dojde limit, chat si pamatuje méně a odpovědi trvají déle. Měřeno na stejných 1 012 větách přeložených do 204 jazyků (FLORES-200).
Modely AI čtou text jako tokeny. Než model váš text uvidí, jeho tokenizér ho rozseká na kousky. Platíte za token, paměť chatu se počítá v tokenech a odpovědi se píšou token po tokenu. Stejná věta v ChatGPT / Copilot:
Tokenová daň je počet tokenů jazyka ÷ počet tokenů angličtiny pro stejný text, pro každý tokenizér zvlášť. Petrov a kol. (2023) pojem zavedli, aby se tokenizace dala snáz porovnávat mezi jazyky, ale nazývají ho tokenizační prémie.
Tokenová daň se počítá na datové sadě FLORES-200, která obsahuje stejných 1 012 vět přeložených do 204 jazyků. Web používá přesně stejná data jako Petrov a kol. (commit 365c3f8, 28. 11. 2023). Kdokoli může čísla zopakovat z tohoto repozitáře. Daň pro další tokenizéry je v souboru data.csv. Toto jsou přesně ty modely, pro které ukazujeme čísla:
Každá země je obarvená podle jednoho hlavního jazyka, což zjednodušuje vícejazyčné země; každý jazyk ze seznamu lze zkontrolovat samostatně.
Ukázkové věty pocházejí z FLORES-200 (CC BY-SA 4.0) přes Petrova a kol.
Autorka: Sara Moricz.