Скільки більше токенів потрібно українській мові, ніж англійській?
Українській мові в ChatGPT / Copilot потрібно на 75 % більше токенів, ніж англійській, для того самого тексту. Тож ліміт закінчується приблизно на 75 % швидше, а пам’ять чату заповнюється й відповіді подовжуються в тій самій пропорції. Українська посідає 100 місце з 203 мов, де 1 — найдорожча. У 6 сучасних токенізаторах ШІ податок на токени становить від 35 % (Claude) до 116 % (DeepSeek).
| Модель | Токенізатор | Податок на токени |
|---|
| ChatGPT / Copilot | o200k_base | 75 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 59 % |
| Claude | Claude (unpublished) | 35 % |
| Meta AI / Llama | Llama 4 | 54 % |
| DeepSeek | DeepSeek V3 | 116 % |
| Qwen | Qwen 3.5 (248k) | 71 % |
Що таке податок на токени?
Податок на токени — це кількість токенів для мови ÷ кількість токенів для англійської на тому самому тексті, окремо для кожного токенізатора. Петров та ін. (2023) запровадили це поняття, щоб токенізацію було легше порівнювати між мовами, але називають його премією токенізації. Усталеного українського терміна поки немає; англійською це називають token tax.
Токенізатори вивчають словник переважно з англійських текстів, тому поширені англійські слова вміщуються в один токен, а український текст ріжеться на більше коротших шматочків. Найбільше зазвичай платять мови з невеликою кількістю навчальних текстів і нелатинським письмом.
Петров та ін. підсумовують проблему: «The same text translated into different languages can have drastically different tokenization lengths» (NeurIPS 2023).
Як це виміряно?
Кожен токенізатор порахував токени в тих самих 1 012 реченнях із частини devtest набору FLORES-200, українською та англійською, за Петровим та ін. (NeurIPS 2023). Пораховано 2026-10-26.
Що таке токен?
Моделі ШІ читають текст як токени. Перш ніж модель побачить ваш текст, токенізатор ріже його на шматочки. Ви платите за токен, пам’ять чату рахується в токенах, а відповіді пишуться токен за токеном. Ось як ChatGPT / Copilot ріже заголовок наукової новини з жовтня 2026 року, українською та англійською:
Один-єдиний урок скрипки змінює патерни мозкових хвиль, коли початківці вчаться грати
О | дин | - | є | ди | ний | урок | ск | рип | ки | зм | ін | ю | є | пат | ер | ни | моз | ков | их | хв | иль | , | коли | поч | ат | ків | ці | в | ч | аться | гра | ти = токенів: 33
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = токенів: 12
Для цього одного речення співвідношення становить 33 ÷ 12 = 2,75, тобто на 175 % більше токенів, ніж англійською. Одне речення — це замало тексту для надійного числа, тому числа на цій сторінці виміряно на 1 012 реченнях із FLORES-200.
Як українська виглядає порівняно з іншими мовами?
Українська платить у ChatGPT / Copilot 75 %, тоді як медіана всіх 203 мов становить 75 %.
Як зменшити податок на токени?
Найпростіше — спілкуватися англійською, якщо вам це зручно. Інші способи важче радити, бо моделі відрізняються не лише податком на токени, а й тим, наскільки добрі відповіді ви отримуєте за токен.
Запитання про податок на токени
Чи кожна мова платить податок на токени?
Майже кожна. У ChatGPT / Copilot усім 203 мовам потрібно більше токенів, ніж англійській, від 23 % (Portuguese) до 1 273 % (Santali), а медіанна мова платить 75 %. В усіх 6 моделях на цій сторінці єдині винятки — Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.
Чому китайська платить менше в китайських моделях?
Спрощена китайська платить у ChatGPT / Copilot 25 %, але в Qwen −9 %, а в DeepSeek −6 %. Alibaba (Qwen) і DeepSeek побудували свої токенізатори на значно більшому обсязі китайського тексту, тож поширені китайські слова отримують власні токени. Токенізатор найдешевший для мов, для яких його побудовано.
Який податок на токени для найбільших мов?
Найпоширеніші мови та українська в усіх 6 моделях:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Ukrainian | 75 % | 59 % | 35 % | 54 % | 116 % | 71 % |
Яка модель ШІ має найнижчий податок на токени?
За медіанною мовою: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % і DeepSeek 107 %.
Які мови платять найменше?
Англійська, щодо якої вимірюють податок на токени (0 %). Лише китайська в китайських моделях платить ще менше, див. вище. Після англійської п’ять найдешевших у ChatGPT / Copilot: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % і Standard Malay 30 %.
Які мови платять найбільше?
Кількість носіїв узято з Вікіпедії (переписи населення та Ethnologue). 10 найдорожчих із 203 мов у ChatGPT / Copilot, з податком на токени та кількістю носіїв:
- Santali 1 273 %: близько 7 600 000 носіїв, переважно в країнах: India, Bangladesh, Nepal; письмо: Ol Chiki.
- Tamasheq 921 %: близько 900 000 носіїв, переважно в країнах: Mali, Burkina Faso; письмо: Tifinagh. Неточне число.
- Central Atlas Tamazight 915 %: близько 2 700 000 носіїв, переважно в країнах: Morocco; письмо: Tifinagh. Неточне число.
- Dzongkha 803 %: близько 171 000 носіїв, переважно в країнах: Bhutan; письмо: Tibetan. Неточне число.
- Lao 723 %: близько 3 700 000 носіїв, переважно в країнах: Laos; письмо: Lao.
- Standard Tibetan 713 %: близько 1 200 000 носіїв, переважно в країнах: China (Tibet), India, Nepal; письмо: Tibetan. Неточне число.
- Shan 693 %: близько 4 700 000 носіїв, переважно в країнах: Myanmar, Thailand; письмо: Myanmar (Shan). Неточне число.
- Tigrinya 500 %: близько 9 900 000 носіїв, переважно в країнах: Eritrea, Ethiopia; письмо: Ge'ez.
- Amharic 482 %: близько 31 800 000 носіїв, переважно в країнах: Ethiopia; письмо: Ge'ez.
- Odia 399 %: близько 34 000 000 носіїв, переважно в країнах: India (Odisha); письмо: Odia.
Чи платять більше мови з іншим письмом?
У середньому ні: у ChatGPT / Copilot медіанна мова на латиниці платить 72 %, а медіанна мова з іншим письмом — 79 %. Але найдорожчі мови всі мають власне письмо, наприклад Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao і Shan (Myanmar).
Як виміряти податок на токени для власного тексту?
Порахуйте токени свого тексту та його англійського перекладу токенізатором моделі, якою користуєтеся, і поділіть перше число на друге. Токенізатор OpenAI публічний; Anthropic і Google рахують токени через свої API. Одне речення дає приблизне число; що більше тексту, то надійніше.
Авторка: Sara Moricz, дослідниця даних. Оновлено 2026-10-26.
In English
Ukrainian needs 75 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 75 % faster, chat memory fills up just as much faster, and answers take just as much longer. Ukrainian ranks 100 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 35 % (Claude) to 116 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.