Question 1

Koliko več žetonov potrebuje slovenščina kot angleščina?

Accepted Answer

Slovenščina potrebuje v ChatGPT / Copilot za isto besedilo 51 % več žetonov kot angleščina. Kvota zato poide približno 51 % hitreje, spomin klepeta pa se napolni in odgovori podaljšajo v enakem razmerju. Slovenščina je na 160. mestu od 203 jezikov, pri čemer je 1 najdražji. V 6 sodobnih tokenizatorjih UI žetonski davek znaša od 48 % (Claude) do 81 % (DeepSeek). ChatGPT / Copilot 51 %; Gemini 55 %; Claude 48 %; Meta AI / Llama 57 %; DeepSeek 81 %; Qwen 58 %.

Question 2

Kaj je žetonski davek?

Accepted Answer

Žetonski davek je število žetonov za jezik ÷ število žetonov za angleščino pri istem besedilu, za vsak tokenizator posebej. Petrov in sod. (2023) so pojem uvedli, da bi tokenizacijo laže primerjali med jeziki, a ga imenujejo tokenizacijska premija. Uveljavljenega slovenskega izraza še ni; v angleščini se temu reče token tax. Tokenizatorji se besedišča učijo predvsem iz angleških besedil, zato pogoste angleške besede zasedejo en žeton, slovensko besedilo pa se razreže na več krajših koščkov. Največ običajno plačajo jeziki z malo učnih besedil in nelatinično pisavo. Petrov in sod. povzamejo težavo: »The same text translated into different languages can have drastically different tokenization lengths« (NeurIPS 2023).

Question 3

Kako je bilo izmerjeno?

Accepted Answer

Vsak tokenizator je preštel žetone v istih 1.012 stavkih iz dela devtest zbirke FLORES-200, v slovenščini in v angleščini, po Petrovu in sod. (NeurIPS 2023). Prešteto 2026-10-26.

Question 4

Kaj je žeton?

Accepted Answer

Modeli UI berejo besedilo kot žetone (tokene). Preden model vidi vaše besedilo, ga tokenizator razreže na koščke. Plačate po žetonu, spomin klepeta se šteje v žetonih, odgovori pa se pišejo žeton za žetonom. Tako ChatGPT / Copilot razreže naslov znanstvene novice iz oktobra 2026, v slovenščini in v angleščini: Ena sama ura violine spremeni vzorce možganskih valov, ko se začetniki učijo igrati = 25; One violin lesson changes brain wave patterns as beginners learn to play = 12. Za ta en stavek je razmerje 25 ÷ 12 = 2,08, torej 108 % več žetonov kot v angleščini. En stavek je premalo besedila za zanesljivo številko, zato so številke na tej strani izmerjene na 1.012 stavkih iz FLORES-200.

Question 5

Kako se slovenščina primerja z drugimi jeziki?

Accepted Answer

Slovenščina plača v ChatGPT / Copilot 51 %, mediana vseh 203 jezikov pa je 75 %.

Question 6

Kako lahko zmanjšam žetonski davek?

Accepted Answer

Najpreprosteje je klepetati v angleščini, če vam to ustreza. Druge načine je težje priporočiti, saj se modeli ne razlikujejo le po žetonskem davku, ampak tudi po tem, kako dobre odgovore dobite na žeton.

Question 7

Ali vsak jezik plača žetonski davek?

Accepted Answer

Skoraj vsak. V ChatGPT / Copilot potrebuje vseh 203 jezikov več žetonov kot angleščina, od 23 % (Portuguese) do 1 273 % (Santali), medianski jezik pa plača 75 %. V vseh 6 modelih na tej strani so edine izjeme Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.

Question 8

Zakaj kitajščina v kitajskih modelih plača manj?

Accepted Answer

Poenostavljena kitajščina plača v ChatGPT / Copilot 25 %, v Qwen pa −9 % in v DeepSeek −6 %. Alibaba (Qwen) in DeepSeek sta tokenizatorja zgradila na precej več kitajskem besedilu, zato pogoste kitajske besede dobijo lastne žetone. Tokenizator je najcenejši za jezike, za katere je bil zgrajen.

Question 9

Kolikšen je žetonski davek za največje jezike?

Accepted Answer

Najbolj govorjeni jeziki in slovenščina v vseh 6 modelih: Chinese (Simplified): ChatGPT / Copilot 25 %, Gemini 8 %, Claude 14 %, Meta AI / Llama 6 %, DeepSeek −6 %, Qwen −9 %; Spanish: ChatGPT / Copilot 32 %, Gemini 29 %, Claude 45 %, Meta AI / Llama 30 %, DeepSeek 50 %, Qwen 31 %; Hindi: ChatGPT / Copilot 57 %, Gemini 30 %, Claude 116 %, Meta AI / Llama 65 %, DeepSeek 180 %, Qwen 98 %; Standard Arabic: ChatGPT / Copilot 38 %, Gemini 45 %, Claude 81 %, Meta AI / Llama 59 %, DeepSeek 62 %, Qwen 30 %; Portuguese: ChatGPT / Copilot 23 %, Gemini 25 %, Claude 37 %, Meta AI / Llama 23 %, DeepSeek 42 %, Qwen 23 %; Russian: ChatGPT / Copilot 42 %, Gemini 35 %, Claude 32 %, Meta AI / Llama 23 %, DeepSeek 58 %, Qwen 35 %; Japanese: ChatGPT / Copilot 66 %, Gemini 21 %, Claude 26 %, Meta AI / Llama 31 %, DeepSeek 42 %, Qwen 16 %; French: ChatGPT / Copilot 37 %, Gemini 40 %, Claude 48 %, Meta AI / Llama 37 %, DeepSeek 55 %, Qwen 38 %; German: ChatGPT / Copilot 31 %, Gemini 32 %, Claude 72 %, Meta AI / Llama 30 %, DeepSeek 51 %, Qwen 30 %; Slovenian: ChatGPT / Copilot 51 %, Gemini 55 %, Claude 48 %, Meta AI / Llama 57 %, DeepSeek 81 %, Qwen 58 %.

Question 10

Kateri model UI ima najnižji žetonski davek?

Accepted Answer

Merjeno po medianskem jeziku: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % in DeepSeek 107 %.

Question 11

Kateri jeziki plačajo najmanj?

Accepted Answer

Angleščina, glede na katero se meri žetonski davek (0 %). Le kitajščina v kitajskih modelih plača še manj, glej zgoraj. Za angleščino je pet najcenejših v ChatGPT / Copilot: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % in Standard Malay 30 %.

Question 12

Kateri jeziki plačajo največ?

Accepted Answer

Števila maternih govorcev so iz Wikipedije (popisi prebivalstva in Ethnologue). 10 najdražjih od 203 jezikov v ChatGPT / Copilot, z žetonskim davkom in številom maternih govorcev: Santali 1 273 %: približno 7.600.000 maternih govorcev, predvsem v državah: India, Bangladesh, Nepal; pisava: Ol Chiki. Tamasheq 921 %: približno 900.000 maternih govorcev, predvsem v državah: Mali, Burkina Faso; pisava: Tifinagh. Negotova številka. Central Atlas Tamazight 915 %: približno 2.700.000 maternih govorcev, predvsem v državah: Morocco; pisava: Tifinagh. Negotova številka. Dzongkha 803 %: približno 171.000 maternih govorcev, predvsem v državah: Bhutan; pisava: Tibetan. Negotova številka. Lao 723 %: približno 3.700.000 maternih govorcev, predvsem v državah: Laos; pisava: Lao. Standard Tibetan 713 %: približno 1.200.000 maternih govorcev, predvsem v državah: China (Tibet), India, Nepal; pisava: Tibetan. Negotova številka. Shan 693 %: približno 4.700.000 maternih govorcev, predvsem v državah: Myanmar, Thailand; pisava: Myanmar (Shan). Negotova številka. Tigrinya 500 %: približno 9.900.000 maternih govorcev, predvsem v državah: Eritrea, Ethiopia; pisava: Ge&#x27;ez. Amharic 482 %: približno 31.800.000 maternih govorcev, predvsem v državah: Ethiopia; pisava: Ge&#x27;ez. Odia 399 %: približno 34.000.000 maternih govorcev, predvsem v državah: India (Odisha); pisava: Odia.

Question 13

Ali jeziki z drugo pisavo plačajo več?

Accepted Answer

V povprečju ne: v ChatGPT / Copilot medianski jezik v latinici plača 72 %, medianski jezik v drugi pisavi pa 79 %. Najdražji jeziki pa imajo vsi lastno pisavo, na primer Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao in Shan (Myanmar).

Question 14

Kako izmerim žetonski davek za svoje besedilo?

Accepted Answer

Preštejte žetone svojega besedila in njegovega angleškega prevoda s tokenizatorjem modela, ki ga uporabljate, in prvo število delite z drugim. Tokenizator OpenAI je javen; Anthropic in Google štejeta žetone prek svojih API-jev. En stavek da grobo številko; več besedila, bolj zanesljivo.