Kor mange fleire tokens treng nynorsk enn engelsk?
Nynorsk treng 41 % fleire tokens enn engelsk for same tekst i ChatGPT / Copilot. Kvoten tek difor slutt om lag 41 % fortare, minnet til chatten blir fylt like mykje fortare, og svara tek like mykje lengre tid. Nynorsk hamnar på plass 181 av 203 språk, der 1 er dyrast. I 6 aktuelle KI-tokeniserarar varierer tokentollen frå 41 % (ChatGPT / Copilot) til 62 % (DeepSeek).
| Modell | Tokeniserar | Tokentoll |
|---|
| ChatGPT / Copilot | o200k_base | 41 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 46 % |
| Claude | Claude (unpublished) | 41 % |
| Meta AI / Llama | Llama 4 | 45 % |
| DeepSeek | DeepSeek V3 | 62 % |
| Qwen | Qwen 3.5 (248k) | 45 % |
Kva er tokentollen?
Tokentollen er talet på tokens for eit språk ÷ talet på tokens for engelsk for same tekst, per tokeniserar. Petrov mfl. (2023) innførte omgrepet for å gjere tokenisering lettare å samanlikne mellom språk, men kallar det tokeniseringspremien. Det finst enno ikkje noko etablert nynorsk omgrep; det blir òg kalla tokenskatt, og på engelsk token tax.
Tokeniserarar lærer ordtilfanget sitt mest frå engelsk tekst, så vanlege engelske ord får plass i éin token, medan nynorsk tekst blir delt opp i fleire og kortare bitar. Språk med lite treningstekst og ikkje-latinske skriftsystem betaler oftast mest.
Petrov mfl. summerer opp problemet: «The same text translated into different languages can have drastically different tokenization lengths» (NeurIPS 2023).
Korleis vart det målt?
Kvar tokeniserar talde tokens i dei same 1 012 setningane frå devtest-delen av FLORES-200, på nynorsk og på engelsk, etter Petrov mfl. (NeurIPS 2023). Talt 2026-10-26.
Kva er ein token?
KI-modellar les tekst som tokens. Før ein modell ser teksten din, deler tokeniseringa han opp i bitar. Du betaler per token, minnet til chatten blir talt i tokens, og svara blir skrivne éin token om gongen. Slik deler ChatGPT / Copilot opp ei nyheitsoverskrift om forsking frå oktober 2026, på nynorsk og på engelsk:
Éin einaste fiolintime endrar hjernebølgjemønstera når nybyrjarar lærer å spela
É | in | ein | aste | fi | ol | int | ime | end | rar | h | jer | neb | ø | lg | jem | ø | nst | era | når | ny | by | r | jar | ar | lærer | å | spela = 28 tokens
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12 tokens
For akkurat denne setninga blir forholdet 28 ÷ 12 = 2,33, altså 133 % fleire tokens enn engelsk. Éi setning er for lite tekst for eit påliteleg tal, og difor er tala på denne sida målte på 1 012 setningar frå FLORES-200.
Korleis står nynorsk seg mot andre språk?
Nynorsk betaler 41 % i ChatGPT / Copilot, medan medianen for alle 203 språk er 75 %.
Korleis kan eg redusere tokentollen?
Det enklaste er å chatte på engelsk, om du er komfortabel med det. Andre måtar er vanskelegare å gi råd om, fordi modellane skil seg ikkje berre i tokentoll, men òg i kor gode svar du får per token.
Spørsmål om tokentollen
Betaler alle språk tokentoll?
Nesten alle. I ChatGPT / Copilot treng alle 203 språk fleire tokens enn engelsk, frå 23 % (Portuguese) til 1 273 % (Santali), og medianspråket betaler 75 %. I alle dei 6 modellane på sida er dei einaste unntaka Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.
Kvifor betaler kinesisk mindre i kinesiske modellar?
Forenkla kinesisk betaler 25 % i ChatGPT / Copilot, men −9 % i Qwen og −6 % i DeepSeek. Alibaba (Qwen) og DeepSeek bygde tokeniseringane sine på mykje meir kinesisk tekst, så vanlege kinesiske ord får eigne tokens. Ein tokeniserar er billegast for språka han vart bygd for.
Kor stor er tokentollen for dei største språka?
Dei mest talte språka, og nynorsk, i alle dei 6 modellane:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Norwegian Nynorsk | 41 % | 46 % | 41 % | 45 % | 62 % | 45 % |
Kva KI-modell har lågast tokentoll?
Rekna på medianspråket: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % og DeepSeek 107 %.
Kva språk betaler minst?
Engelsk, som tokentollen blir målt mot (0 %). Berre kinesisk i kinesiske modellar betaler endå mindre, sjå over. Etter engelsk er dei fem billegaste i ChatGPT / Copilot: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % og Standard Malay 30 %.
Kva språk betaler mest?
Talet på morsmålsbrukarar er henta frå Wikipedia (folketeljingar og Ethnologue). Dei 10 dyraste av 203 språk i ChatGPT / Copilot, med tokentoll og talet på morsmålsbrukarar:
- Santali 1 273 %: rundt 7 600 000 morsmålsbrukarar, mest i India, Bangladesh, Nepal; skrift: Ol Chiki.
- Tamasheq 921 %: rundt 900 000 morsmålsbrukarar, mest i Mali, Burkina Faso; skrift: Tifinagh. Usikkert tal.
- Central Atlas Tamazight 915 %: rundt 2 700 000 morsmålsbrukarar, mest i Morocco; skrift: Tifinagh. Usikkert tal.
- Dzongkha 803 %: rundt 171 000 morsmålsbrukarar, mest i Bhutan; skrift: Tibetan. Usikkert tal.
- Lao 723 %: rundt 3 700 000 morsmålsbrukarar, mest i Laos; skrift: Lao.
- Standard Tibetan 713 %: rundt 1 200 000 morsmålsbrukarar, mest i China (Tibet), India, Nepal; skrift: Tibetan. Usikkert tal.
- Shan 693 %: rundt 4 700 000 morsmålsbrukarar, mest i Myanmar, Thailand; skrift: Myanmar (Shan). Usikkert tal.
- Tigrinya 500 %: rundt 9 900 000 morsmålsbrukarar, mest i Eritrea, Ethiopia; skrift: Ge'ez.
- Amharic 482 %: rundt 31 800 000 morsmålsbrukarar, mest i Ethiopia; skrift: Ge'ez.
- Odia 399 %: rundt 34 000 000 morsmålsbrukarar, mest i India (Odisha); skrift: Odia.
Betaler språk med andre skriftsystem meir?
Ikkje i snitt: i ChatGPT / Copilot betaler medianspråket med latinsk alfabet 72 % og medianspråket med eit anna skriftsystem 79 %. Men dei dyraste språka har alle eigne skriftsystem, til dømes Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao og Shan (Myanmar).
Korleis måler eg tokentollen for min eigen tekst?
Tel tokens i teksten din og i den engelske omsetjinga med tokeniseringa til modellen du brukar, og del det første på det andre. Tokeniseraren til OpenAI er open; Anthropic og Google tel tokens via API-a sine. Éi setning gir eit grovt tal; jo meir tekst, jo sikrare.
Av Sara Moricz, forskande data scientist. Oppdatert 2026-10-26.
In English
Norwegian Nynorsk needs 41 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 41 % faster, chat memory fills up just as much faster, and answers take just as much longer. Norwegian Nynorsk ranks 181 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 41 % (ChatGPT / Copilot) to 62 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.