0 % = inglês · arraste para girar o globo · clique em um país
Quantos tokens a mais um idioma precisa em relação ao inglês para o mesmo texto. Mais tokens significa que a sua cota acaba mais cedo, que o chat lembra menos e que as respostas demoram mais. Medido nas mesmas 1.012 frases traduzidas para 204 idiomas (FLORES-200).
Os modelos de IA leem o texto como tokens. Antes de um modelo ver o seu texto, o tokenizador o corta em pedaços. Você paga por token, a memória do chat é contada em tokens e as respostas são escritas um token de cada vez. A mesma frase no ChatGPT / Copilot:
O imposto dos tokens é o número de tokens de um idioma ÷ o número de tokens do inglês para o mesmo texto, por tokenizador. Petrov et al. (2023) introduziram o conceito para facilitar a comparação da tokenização entre idiomas, mas chamam de prêmio de tokenização.
O imposto dos tokens é calculado com o FLORES-200, que contém as mesmas 1.012 frases traduzidas para 204 idiomas. Este site usa exatamente os mesmos dados que Petrov et al. (commit 365c3f8, 28 nov. 2023). Qualquer pessoa pode reproduzir os números a partir deste repositório. O imposto para mais tokenizadores está no arquivo data.csv. Estes são exatamente os modelos para os quais mostramos números:
Cada país é colorido por um idioma principal, o que simplifica países multilíngues; cada idioma da lista pode ser consultado separadamente.
As frases de exemplo são do FLORES-200 (CC BY-SA 4.0) via Petrov et al.
Por Sara Moricz.