0 % = английский · потяните, чтобы повернуть глобус · нажмите на страну
Сколько больше токенов нужно языку по сравнению с английским для того же текста. Больше токенов — значит, лимит заканчивается быстрее, чат помнит меньше, а ответы занимают больше времени. Измерено на тех же 1012 предложениях, переведённых на 204 языка (FLORES-200).
Модели ИИ читают текст как токены. Прежде чем модель увидит ваш текст, токенизатор режет его на кусочки. Вы платите за токен, память чата считается в токенах, а ответы пишутся токен за токеном. То же предложение в ChatGPT / Copilot:
Налог на токены — это число токенов для языка ÷ число токенов для английского на том же тексте, отдельно для каждого токенизатора. Петров и др. (2023) ввели это понятие, чтобы токенизацию было проще сравнивать между языками, но называют его премией токенизации.
Налог на токены считается на наборе FLORES-200, где те же 1012 предложений переведены на 204 языка. Сайт использует ровно те же данные, что и Петров и др. (commit 365c3f8, 28.11.2023). Любой может воспроизвести цифры из этого репозитория. Налог для других токенизаторов есть в файле data.csv. Вот ровно те модели, для которых мы приводим цифры:
Каждая страна окрашена по одному основному языку, что упрощает многоязычные страны; каждый язык из списка можно проверить отдельно.
Примеры предложений взяты из FLORES-200 (CC BY-SA 4.0) через Петрова и др.
Автор: Sara Moricz.