0 % = angielski · przeciągnij, aby obrócić globus · kliknij kraj
Ile więcej tokenów potrzebuje język niż angielski na ten sam tekst. Więcej tokenów oznacza, że limit kończy się szybciej, czat pamięta mniej, a odpowiedzi trwają dłużej. Zmierzone na tych samych 1012 zdaniach przetłumaczonych na 204 języki (FLORES-200).
Modele AI czytają tekst jako tokeny. Zanim model zobaczy Twój tekst, jego tokenizer tnie go na kawałki. Płacisz za token, pamięć czatu liczy się w tokenach, a odpowiedzi powstają token po tokenie. To samo zdanie w ChatGPT / Copilot:
Podatek od tokenów to liczba tokenów danego języka ÷ liczba tokenów angielskiego dla tego samego tekstu, osobno dla każdego tokenizera. Petrov i in. (2023) wprowadzili to pojęcie, aby łatwiej porównywać tokenizację między językami, ale nazywają je premią tokenizacyjną.
Podatek od tokenów liczony jest na zbiorze FLORES-200, który zawiera te same 1012 zdań przetłumaczonych na 204 języki. Strona używa dokładnie tych samych danych co Petrov i in. (commit 365c3f8, 28 lis 2023). Każdy może odtworzyć liczby z tego repozytorium. Podatek dla kolejnych tokenizerów jest w pliku data.csv. Oto dokładnie te modele, dla których podajemy liczby:
Każdy kraj jest pokolorowany według jednego języka głównego, co upraszcza kraje wielojęzyczne; każdy język z listy można sprawdzić osobno.
Przykładowe zdania pochodzą z FLORES-200 (CC BY-SA 4.0) za pośrednictwem Petrova i in.
Autorka: Sara Moricz.