0 % = inglese · trascina per ruotare il globo · fai clic su un paese
Quanti token in più servono a una lingua rispetto all’inglese per lo stesso testo. Più token significa che la quota finisce prima, che la chat ricorda meno e che le risposte richiedono più tempo. Misurato sulle stesse 1.012 frasi tradotte in 204 lingue (FLORES-200).
I modelli di IA leggono il testo come token. Prima che un modello veda il tuo testo, il suo tokenizer lo taglia in pezzi. Paghi per token, la memoria della chat si conta in token e le risposte vengono scritte un token alla volta. La stessa frase su ChatGPT / Copilot:
La tassa sui token è il numero di token di una lingua ÷ il numero di token dell’inglese per lo stesso testo, per tokenizer. Petrov et al. (2023) hanno introdotto il concetto per confrontare più facilmente la tokenizzazione tra lingue, ma lo chiamano premio di tokenizzazione.
La tassa sui token è calcolata su FLORES-200, che contiene le stesse 1.012 frasi tradotte in 204 lingue. Questo sito usa esattamente gli stessi dati di Petrov et al. (commit 365c3f8, 28 nov. 2023). Chiunque può riprodurre i numeri da questo repository. La tassa per altri tokenizer è nel file data.csv. Questi sono esattamente i modelli per cui mostriamo i numeri:
Ogni paese è colorato in base a una lingua principale, il che semplifica i paesi multilingui; ogni lingua dell’elenco si può consultare da sola.
Le frasi di esempio sono di FLORES-200 (CC BY-SA 4.0) tramite Petrov et al.
Di Sara Moricz.