Question 1

O koľko viac tokenov potrebuje slovenčina ako angličtina?

Accepted Answer

Slovenčina potrebuje v ChatGPT / Copilot na ten istý text o 68 % viac tokenov ako angličtina. Limit sa preto minie asi o 68 % rýchlejšie a pamäť chatu sa zaplní aj odpovede predĺžia v rovnakom pomere. Slovenčina je na 125. mieste z 203 jazykov, kde 1 je najdrahší. V 6 súčasných tokenizéroch AI sa tokenová daň pohybuje od 56 % (Claude) po 91 % (DeepSeek). ChatGPT / Copilot 68 %; Gemini 59 %; Claude 56 %; Meta AI / Llama 56 %; DeepSeek 91 %; Qwen 62 %.

Question 2

Čo je tokenová daň?

Accepted Answer

Tokenová daň je počet tokenov jazyka ÷ počet tokenov angličtiny pre ten istý text, pre každý tokenizér zvlášť. Petrov a kol. (2023) pojem zaviedli, aby sa tokenizácia dala ľahšie porovnávať medzi jazykmi, ale nazývajú ho tokenizačná prémia. Ustálený slovenský termín zatiaľ neexistuje; po anglicky sa tomu hovorí token tax. Tokenizéry sa učia slovník hlavne z anglických textov, takže bežné anglické slová sa zmestia do jedného tokenu, kým slovenský text sa rozseká na viac kratších kúskov. Najviac zvyčajne platia jazyky s malým množstvom trénovacích textov a s iným ako latinským písmom. Petrov a kol. zhŕňajú problém: „The same text translated into different languages can have drastically different tokenization lengths“ (NeurIPS 2023).

Question 3

Ako sa to meralo?

Accepted Answer

Každý tokenizér spočítal tokeny v tých istých 1 012 vetách z časti devtest súboru FLORES-200, po slovensky a po anglicky, podľa Petrova a kol. (NeurIPS 2023). Spočítané 2026-10-26.

Question 4

Čo je token?

Accepted Answer

Modely AI čítajú text ako tokeny. Skôr než model uvidí váš text, jeho tokenizér ho rozseká na kúsky. Platíte za token, pamäť chatu sa počíta v tokenoch a odpovede sa píšu token po tokene. Takto ChatGPT / Copilot rozseká titulok vedeckej správy z októbra 2026, po slovensky a po anglicky: Jediná hodina huslí mení vzorce mozgových vĺn, keď sa začiatočníci učia hrať = 29; One violin lesson changes brain wave patterns as beginners learn to play = 12. Pre túto jedinú vetu je pomer 29 ÷ 12 = 2,42, teda o 142 % viac tokenov ako v angličtine. Jedna veta je na spoľahlivé číslo príliš málo textu, preto sú čísla na tejto stránke namerané na 1 012 vetách z FLORES-200.

Question 5

Ako si slovenčina stojí v porovnaní s inými jazykmi?

Accepted Answer

Slovenčina platí v ChatGPT / Copilot 68 %, zatiaľ čo medián všetkých 203 jazykov je 75 %.

Question 6

Ako môžem znížiť tokenovú daň?

Accepted Answer

Najjednoduchšie je chatovať po anglicky, ak vám to vyhovuje. Iné spôsoby sa odporúčajú ťažšie, pretože modely sa líšia nielen tokenovou daňou, ale aj tým, aké dobré odpovede dostanete na token.

Question 7

Platí tokenovú daň každý jazyk?

Accepted Answer

Takmer každý. V ChatGPT / Copilot potrebuje všetkých 203 jazykov viac tokenov ako angličtina, od 23 % (Portuguese) po 1 273 % (Santali), a mediánový jazyk platí 75 %. Vo všetkých 6 modeloch na tejto stránke sú jedinými výnimkami Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.

Question 8

Prečo čínština v čínskych modeloch platí menej?

Accepted Answer

Zjednodušená čínština platí v ChatGPT / Copilot 25 %, ale v Qwen −9 % a v DeepSeek −6 %. Alibaba (Qwen) a DeepSeek postavili svoje tokenizéry na oveľa väčšom množstve čínskeho textu, takže bežné čínske slová majú vlastné tokeny. Tokenizér je najlacnejší pre jazyky, pre ktoré bol postavený.

Question 9

Aká je tokenová daň pri najväčších jazykoch?

Accepted Answer

Najpoužívanejšie jazyky a slovenčina vo všetkých 6 modeloch: Chinese (Simplified): ChatGPT / Copilot 25 %, Gemini 8 %, Claude 14 %, Meta AI / Llama 6 %, DeepSeek −6 %, Qwen −9 %; Spanish: ChatGPT / Copilot 32 %, Gemini 29 %, Claude 45 %, Meta AI / Llama 30 %, DeepSeek 50 %, Qwen 31 %; Hindi: ChatGPT / Copilot 57 %, Gemini 30 %, Claude 116 %, Meta AI / Llama 65 %, DeepSeek 180 %, Qwen 98 %; Standard Arabic: ChatGPT / Copilot 38 %, Gemini 45 %, Claude 81 %, Meta AI / Llama 59 %, DeepSeek 62 %, Qwen 30 %; Portuguese: ChatGPT / Copilot 23 %, Gemini 25 %, Claude 37 %, Meta AI / Llama 23 %, DeepSeek 42 %, Qwen 23 %; Russian: ChatGPT / Copilot 42 %, Gemini 35 %, Claude 32 %, Meta AI / Llama 23 %, DeepSeek 58 %, Qwen 35 %; Japanese: ChatGPT / Copilot 66 %, Gemini 21 %, Claude 26 %, Meta AI / Llama 31 %, DeepSeek 42 %, Qwen 16 %; French: ChatGPT / Copilot 37 %, Gemini 40 %, Claude 48 %, Meta AI / Llama 37 %, DeepSeek 55 %, Qwen 38 %; German: ChatGPT / Copilot 31 %, Gemini 32 %, Claude 72 %, Meta AI / Llama 30 %, DeepSeek 51 %, Qwen 30 %; Slovak: ChatGPT / Copilot 68 %, Gemini 59 %, Claude 56 %, Meta AI / Llama 56 %, DeepSeek 91 %, Qwen 62 %.

Question 10

Ktorý model AI má najnižšiu tokenovú daň?

Accepted Answer

Podľa mediánového jazyka: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % a DeepSeek 107 %.

Question 11

Ktoré jazyky platia najmenej?

Accepted Answer

Angličtina, voči ktorej sa tokenová daň meria (0 %). Len čínština v čínskych modeloch platí ešte menej, pozri vyššie. Po angličtine je päť najlacnejších v ChatGPT / Copilot: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % a Standard Malay 30 %.

Question 12

Ktoré jazyky platia najviac?

Accepted Answer

Počty rodených hovoriacich pochádzajú z Wikipédie (sčítania obyvateľov a Ethnologue). 10 najdrahších z 203 jazykov v ChatGPT / Copilot, s tokenovou daňou a počtom rodených hovoriacich: Santali 1 273 %: asi 7 600 000 rodených hovoriacich, hlavne v krajinách: India, Bangladesh, Nepal; písmo: Ol Chiki. Tamasheq 921 %: asi 900 000 rodených hovoriacich, hlavne v krajinách: Mali, Burkina Faso; písmo: Tifinagh. Neisté číslo. Central Atlas Tamazight 915 %: asi 2 700 000 rodených hovoriacich, hlavne v krajinách: Morocco; písmo: Tifinagh. Neisté číslo. Dzongkha 803 %: asi 171 000 rodených hovoriacich, hlavne v krajinách: Bhutan; písmo: Tibetan. Neisté číslo. Lao 723 %: asi 3 700 000 rodených hovoriacich, hlavne v krajinách: Laos; písmo: Lao. Standard Tibetan 713 %: asi 1 200 000 rodených hovoriacich, hlavne v krajinách: China (Tibet), India, Nepal; písmo: Tibetan. Neisté číslo. Shan 693 %: asi 4 700 000 rodených hovoriacich, hlavne v krajinách: Myanmar, Thailand; písmo: Myanmar (Shan). Neisté číslo. Tigrinya 500 %: asi 9 900 000 rodených hovoriacich, hlavne v krajinách: Eritrea, Ethiopia; písmo: Ge&#x27;ez. Amharic 482 %: asi 31 800 000 rodených hovoriacich, hlavne v krajinách: Ethiopia; písmo: Ge&#x27;ez. Odia 399 %: asi 34 000 000 rodených hovoriacich, hlavne v krajinách: India (Odisha); písmo: Odia.

Question 13

Platia jazyky s iným písmom viac?

Accepted Answer

V priemere nie: v ChatGPT / Copilot platí mediánový jazyk v latinke 72 % a mediánový jazyk v inom písme 79 %. Najdrahšie jazyky však majú všetky vlastné písmo, napríklad Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao a Shan (Myanmar).

Question 14

Ako zmeriam tokenovú daň svojho textu?

Accepted Answer

Spočítajte tokeny svojho textu a jeho anglického prekladu tokenizérom modelu, ktorý používate, a prvé číslo vydeľte druhým. Tokenizér OpenAI je verejný; Anthropic a Google počítajú tokeny cez svoje API. Jedna veta dá hrubé číslo; čím viac textu, tým spoľahlivejšie.