Kui palju rohkem tokeneid vajab eesti keel kui inglise keel?
Eesti keel vajab mudelis ChatGPT / Copilot sama teksti jaoks 50 % rohkem tokeneid kui inglise keel. Seega saab limiit otsa umbes 50 % kiiremini, vestluse mälu täitub sama palju kiiremini ja vastused võtavad sama palju kauem. Eesti keel on 203 keele seas kohal 162, kus 1 on kõige kallim. 6 praeguses tehisintellekti tokeniseerijas ulatub tokenimaks 50 % (ChatGPT / Copilot) kuni 85 % (DeepSeek).
| Mudel | Tokeniseerija | Tokenimaks |
|---|
| ChatGPT / Copilot | o200k_base | 50 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 55 % |
| Claude | Claude (unpublished) | 55 % |
| Meta AI / Llama | Llama 4 | 56 % |
| DeepSeek | DeepSeek V3 | 85 % |
| Qwen | Qwen 3.5 (248k) | 62 % |
Mis on tokenimaks?
Tokenimaks on keele tokenite arv ÷ inglise keele tokenite arv sama teksti puhul, iga tokeniseerija kohta eraldi. Petrov jt (2023) võtsid mõiste kasutusele, et tokeniseerimist oleks keelte vahel lihtsam võrrelda, kuid nimetavad seda tokeniseerimispreemiaks. Väljakujunenud eestikeelset terminit veel ei ole; inglise keeles nimetatakse seda token tax.
Tokeniseerijad õpivad oma sõnavara peamiselt ingliskeelsest tekstist, nii et tavalised inglise sõnad mahuvad ühte tokenisse, eesti tekst aga lõigatakse rohkemateks ja lühemateks tükkideks. Kõige rohkem maksavad tavaliselt vähese treeningtekstiga ja mitteladina kirjaga keeled.
Petrov jt võtavad probleemi kokku: „The same text translated into different languages can have drastically different tokenization lengths“ (NeurIPS 2023).
Kuidas seda mõõdeti?
Iga tokeniseerija loendas tokenid samades 1 012 lauses FLORES-200 devtest-osast, eesti ja inglise keeles, Petrovi jt (NeurIPS 2023) järgi. Loendatud 2026-10-26.
Mis on token?
Tehisintellekti mudelid loevad teksti tokenitena. Enne kui mudel sinu teksti näeb, lõikab tokeniseerija selle tükkideks. Maksad tokeni kaupa, vestluse mälu loetakse tokenites ja vastused kirjutatakse token haaval. Nii lõikab ChatGPT / Copilot 2026. aasta oktoobri teadusuudise pealkirja eesti ja inglise keeles:
Üksainus viiulitund muudab ajulainete mustreid, kui algajad mängima õpivad
Ü | ks | ain | us | vi | iul | it | und | muud | ab | aj | ul | ain | ete | must | re | id | , | kui | alg | ajad | mäng | ima | õ | p | ivad = 26 tokenit
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12 tokenit
Just selle lause puhul on suhe 26 ÷ 12 = 2,17, ehk 117 % rohkem tokeneid kui inglise keeles. Üks lause on usaldusväärse arvu jaoks liiga vähe teksti, seetõttu on selle lehe arvud mõõdetud 1 012 FLORES-200 lausel.
Kuidas eesti keel teiste keeltega võrreldes paistab?
Eesti keel maksab mudelis ChatGPT / Copilot 50 %, samas kui kõigi 203 keele mediaan on 75 %.
Kuidas saan tokenimaksu vähendada?
Kõige lihtsam on vestelda inglise keeles, kui see sulle sobib. Muid viise on raskem soovitada, sest mudelid erinevad mitte ainult tokenimaksu, vaid ka selle poolest, kui head vastust saad ühe tokeni kohta.
Küsimused tokenimaksu kohta
Kas iga keel maksab tokenimaksu?
Peaaegu iga keel. Mudelis ChatGPT / Copilot vajavad kõik 203 keelt rohkem tokeneid kui inglise keel, 23 % (Portuguese) kuni 1 273 % (Santali), ja mediaankeel maksab 75 %. Selle lehe kõigis 6 mudelis on ainsad erandid Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.
Miks maksab hiina keel Hiina mudelites vähem?
Lihtsustatud hiina keel maksab mudelis ChatGPT / Copilot 25 %, kuid mudelis Qwen −9 % ja mudelis DeepSeek −6 %. Alibaba (Qwen) ja DeepSeek ehitasid oma tokeniseerijad palju suurema hulga hiinakeelse teksti põhjal, nii et levinud hiina sõnad saavad oma tokeni. Tokeniseerija on kõige odavam keeltele, mille jaoks see ehitati.
Kui suur on tokenimaks suurimates keeltes?
Enim räägitud keeled ja eesti keel kõigis 6 mudelis:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Estonian | 50 % | 55 % | 55 % | 56 % | 85 % | 62 % |
Millisel tehisintellekti mudelil on madalaim tokenimaks?
Mediaankeele järgi: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % ja DeepSeek 107 %.
Millised keeled maksavad kõige vähem?
Inglise keel, millega tokenimaksu võrreldakse (0 %). Ainult hiina keel Hiina mudelites maksab veel vähem, vaata ülalt. Pärast inglise keelt on mudelis ChatGPT / Copilot viis kõige odavamat: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % ja Standard Malay 30 %.
Millised keeled maksavad kõige rohkem?
Emakeelsete kõnelejate arvud pärinevad Vikipeediast (rahvaloendused ja Ethnologue). 203 keele 10 kõige kallimat mudelis ChatGPT / Copilot, tokenimaksu ja emakeelsete kõnelejate arvuga:
- Santali 1 273 %: umbes 7 600 000 emakeelset kõnelejat, peamiselt riikides India, Bangladesh, Nepal; kiri: Ol Chiki.
- Tamasheq 921 %: umbes 900 000 emakeelset kõnelejat, peamiselt riikides Mali, Burkina Faso; kiri: Tifinagh. Ebakindel arv.
- Central Atlas Tamazight 915 %: umbes 2 700 000 emakeelset kõnelejat, peamiselt riikides Morocco; kiri: Tifinagh. Ebakindel arv.
- Dzongkha 803 %: umbes 171 000 emakeelset kõnelejat, peamiselt riikides Bhutan; kiri: Tibetan. Ebakindel arv.
- Lao 723 %: umbes 3 700 000 emakeelset kõnelejat, peamiselt riikides Laos; kiri: Lao.
- Standard Tibetan 713 %: umbes 1 200 000 emakeelset kõnelejat, peamiselt riikides China (Tibet), India, Nepal; kiri: Tibetan. Ebakindel arv.
- Shan 693 %: umbes 4 700 000 emakeelset kõnelejat, peamiselt riikides Myanmar, Thailand; kiri: Myanmar (Shan). Ebakindel arv.
- Tigrinya 500 %: umbes 9 900 000 emakeelset kõnelejat, peamiselt riikides Eritrea, Ethiopia; kiri: Ge'ez.
- Amharic 482 %: umbes 31 800 000 emakeelset kõnelejat, peamiselt riikides Ethiopia; kiri: Ge'ez.
- Odia 399 %: umbes 34 000 000 emakeelset kõnelejat, peamiselt riikides India (Odisha); kiri: Odia.
Kas teise kirjaga keeled maksavad rohkem?
Keskmiselt mitte: mudelis ChatGPT / Copilot maksab ladina tähestikuga mediaankeel 72 % ja muu kirjaga mediaankeel 79 %. Kõige kallimatel keeltel on aga kõigil oma kiri, näiteks Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao ja Shan (Myanmar).
Kuidas mõõta oma teksti tokenimaksu?
Loe oma teksti ja selle ingliskeelse tõlke tokenid kokku kasutatava mudeli tokeniseerijaga ja jaga esimene arv teisega. OpenAI tokeniseerija on avalik; Anthropic ja Google loendavad tokeneid oma API-de kaudu. Üks lause annab umbkaudse arvu; mida rohkem teksti, seda usaldusväärsem.
Autor: Sara Moricz, andmeteadlane ja teadur. Uuendatud 2026-10-26.
In English
Estonian needs 50 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 50 % faster, chat memory fills up just as much faster, and answers take just as much longer. Estonian ranks 162 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 50 % (ChatGPT / Copilot) to 85 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.