தமிழுக்கு ஆங்கிலத்தை விட எவ்வளவு கூடுதல் டோக்கன்கள் தேவை?
ChatGPT / Copilot இல் ஒரே உரைக்கு தமிழுக்கு ஆங்கிலத்தை விட 98 % கூடுதல் டோக்கன்கள் தேவை. எனவே உங்கள் ஒதுக்கீடு சுமார் 98 % விரைவில் தீர்கிறது, அரட்டை நினைவகம் அதே அளவு விரைவில் நிரம்புகிறது, பதில்களுக்கும் அதே அளவு கூடுதல் நேரம் ஆகிறது. 203 மொழிகளில் தமிழ் 47 ஆவது இடத்தில் உள்ளது; 1 என்பது மிக விலையுயர்ந்தது. தற்போதைய 6 AI டோக்கனைசர்களில் டோக்கன் வரி 45 % (Gemini) முதல் 275 % (Meta AI / Llama) வரை.
| மாதிரி | டோக்கனைசர் | டோக்கன் வரி |
|---|
| ChatGPT / Copilot | o200k_base | 98 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 45 % |
| Claude | Claude (unpublished) | 202 % |
| Meta AI / Llama | Llama 4 | 275 % |
| DeepSeek | DeepSeek V3 | 207 % |
| Qwen | Qwen 3.5 (248k) | 153 % |
டோக்கன் வரி என்றால் என்ன?
டோக்கன் வரி என்பது ஒரு மொழியின் டோக்கன்கள் ÷ அதே உரைக்கான ஆங்கில டோக்கன்கள், ஒவ்வொரு டோக்கனைசருக்கும் தனியாக. மொழிகளுக்கிடையே டோக்கனாக்கத்தை எளிதாக ஒப்பிட Petrov மற்றும் குழுவினர் (2023) இந்தக் கருத்தை அறிமுகப்படுத்தினர், ஆனால் அதை டோக்கனாக்கக் கூடுதல் கட்டணம் என்று அழைக்கின்றனர். இதற்கு இன்னும் நிலைபெற்ற தமிழ்ச் சொல் இல்லை; ஆங்கிலத்தில் இது token tax எனப்படுகிறது.
டோக்கனைசர்கள் தங்கள் சொற்களஞ்சியத்தைப் பெரும்பாலும் ஆங்கில உரையிலிருந்து கற்கின்றன; அதனால் பொதுவான ஆங்கிலச் சொற்கள் ஒரே டோக்கனில் அடங்குகின்றன, தமிழ் உரையோ கூடுதலான, சிறிய துண்டுகளாக வெட்டப்படுகிறது. குறைந்த பயிற்சி உரையும் லத்தீன் அல்லாத எழுத்துமுறையும் கொண்ட மொழிகள் பொதுவாக அதிகம் செலுத்துகின்றன.
Petrov மற்றும் குழுவினர் சிக்கலை இப்படிச் சுருக்குகின்றனர்: “The same text translated into different languages can have drastically different tokenization lengths” (NeurIPS 2023).
இது எப்படி அளவிடப்பட்டது?
ஒவ்வொரு டோக்கனைசரும் FLORES-200 இன் devtest பகுதியின் அதே 1,012 வாக்கியங்களில் தமிழ், ஆங்கில டோக்கன்களை எண்ணியது, Petrov மற்றும் குழுவினரின் (NeurIPS 2023) முறைப்படி. எண்ணிய நாள் 2026-10-26.
டோக்கன் என்றால் என்ன?
செயற்கை நுண்ணறிவு மாதிரிகள் உரையை டோக்கன்களாகப் படிக்கின்றன. மாதிரி உங்கள் உரையைப் பார்க்கும் முன், அதன் டோக்கனைசர் அதைத் துண்டுகளாக வெட்டுகிறது. நீங்கள் ஒவ்வொரு டோக்கனுக்கும் பணம் செலுத்துகிறீர்கள், அரட்டையின் நினைவகம் டோக்கன்களில் எண்ணப்படுகிறது, பதில்கள் ஒவ்வொரு டோக்கனாக எழுதப்படுகின்றன. அக்டோபர் 2026 அறிவியல் செய்தித் தலைப்பு ஒன்றை ChatGPT / Copilot தமிழிலும் ஆங்கிலத்திலும் இப்படி வெட்டுகிறது:
ஒரே ஒரு வயலின் பாடம், தொடக்கநிலையாளர்கள் வாசிக்கக் கற்கும்போது மூளை அலை வடிவங்களை மாற்றுகிறது
ஒர | ே | ஒரு | வய | ல | ின் | பாட | ம் | , | தொட | க்க | ந | ில | ையாள | ர்கள் | வா | ச | ிக்க | க் | க | ற்க | ும்ப | ோது | மூ | ளை | அ | லை | வட | ிவ | ங்களை | மாற்ற | ுகிறது = 32 டோக்கன்கள்
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12 டோக்கன்கள்
இந்த ஒரு வாக்கியத்துக்கு விகிதம் 32 ÷ 12 = 2.67, அதாவது ஆங்கிலத்தை விட 167 % கூடுதல் டோக்கன்கள். நம்பகமான எண்ணுக்கு ஒரு வாக்கியம் மிகக் குறைவான உரை; அதனால் இந்தப் பக்கத்தின் எண்கள் FLORES-200 இன் 1,012 வாக்கியங்களில் அளவிடப்பட்டவை.
மற்ற மொழிகளுடன் ஒப்பிடுகையில் தமிழ் எப்படி?
ChatGPT / Copilot இல் தமிழ் 98 % செலுத்துகிறது; அனைத்து 203 மொழிகளின் இடைநிலை மதிப்பு 75 %.
டோக்கன் வரியை எப்படிக் குறைக்கலாம்?
உங்களுக்கு வசதியாக இருந்தால், ஆங்கிலத்தில் அரட்டையடிப்பதே எளிய வழி. மற்ற வழிகளைப் பரிந்துரைப்பது கடினம், ஏனெனில் மாதிரிகள் டோக்கன் வரியில் மட்டுமல்ல, ஒரு டோக்கனுக்கு எவ்வளவு நல்ல பதில் கிடைக்கிறது என்பதிலும் வேறுபடுகின்றன.
டோக்கன் வரி பற்றிய கேள்விகள்
ஒவ்வொரு மொழியும் டோக்கன் வரி செலுத்துகிறதா?
ஏறக்குறைய எல்லாம். ChatGPT / Copilot இல் அனைத்து 203 மொழிகளுக்கும் ஆங்கிலத்தை விட கூடுதல் டோக்கன்கள் தேவை, 23 % (Portuguese) முதல் 1 273 % (Santali) வரை; இடைநிலை மொழி 75 % செலுத்துகிறது. இந்தப் பக்கத்தின் அனைத்து 6 மாதிரிகளிலும் ஒரே விதிவிலக்குகள் Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %.
சீன மாதிரிகளில் சீன மொழி ஏன் குறைவாகச் செலுத்துகிறது?
எளிமையாக்கப்பட்ட சீனம் ChatGPT / Copilot இல் 25 % செலுத்துகிறது, ஆனால் Qwen இல் −9 %, DeepSeek இல் −6 %. Alibaba (Qwen), DeepSeek ஆகியவை மிக அதிகமான சீன உரையைக் கொண்டு தங்கள் டோக்கனைசர்களை உருவாக்கின; அதனால் பொதுவான சீனச் சொற்களுக்குத் தனி டோக்கன்கள் கிடைக்கின்றன. ஒரு டோக்கனைசர், அது உருவாக்கப்பட்ட மொழிகளுக்கே மலிவானது.
பெரிய மொழிகளின் டோக்கன் வரி எவ்வளவு?
அதிகம் பேசப்படும் மொழிகள், தமிழுடன், அனைத்து 6 மாதிரிகளிலும்:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Tamil | 98 % | 45 % | 202 % | 275 % | 207 % | 153 % |
எந்த AI மாதிரிக்கு டோக்கன் வரி மிகக் குறைவு?
இடைநிலை மொழியின்படி: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % மற்றும் DeepSeek 107 %.
எந்த மொழிகள் மிகக் குறைவாகச் செலுத்துகின்றன?
ஆங்கிலம்; டோக்கன் வரி அதனுடன் ஒப்பிட்டே அளவிடப்படுகிறது (0 %). சீன மாதிரிகளில் சீன மொழி மட்டுமே இதைவிடக் குறைவாகச் செலுத்துகிறது, மேலே பார்க்கவும். ஆங்கிலத்துக்குப் பிறகு ChatGPT / Copilot இல் மிக மலிவான ஐந்து: Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % மற்றும் Standard Malay 30 %.
எந்த மொழிகள் அதிகம் செலுத்துகின்றன?
தாய்மொழியாளர் எண்ணிக்கை விக்கிப்பீடியாவிலிருந்து எடுக்கப்பட்டது (மக்கள்தொகைக் கணக்கெடுப்புகள், Ethnologue). ChatGPT / Copilot இல் 203 மொழிகளில் மிக விலையுயர்ந்த 10, டோக்கன் வரி மற்றும் தாய்மொழியாளர் எண்ணிக்கையுடன்:
- Santali 1 273 %: சுமார் 7,600,000 தாய்மொழியாளர்கள், முக்கியமாக India, Bangladesh, Nepal; எழுத்துமுறை: Ol Chiki.
- Tamasheq 921 %: சுமார் 900,000 தாய்மொழியாளர்கள், முக்கியமாக Mali, Burkina Faso; எழுத்துமுறை: Tifinagh. உறுதியற்ற எண்.
- Central Atlas Tamazight 915 %: சுமார் 2,700,000 தாய்மொழியாளர்கள், முக்கியமாக Morocco; எழுத்துமுறை: Tifinagh. உறுதியற்ற எண்.
- Dzongkha 803 %: சுமார் 171,000 தாய்மொழியாளர்கள், முக்கியமாக Bhutan; எழுத்துமுறை: Tibetan. உறுதியற்ற எண்.
- Lao 723 %: சுமார் 3,700,000 தாய்மொழியாளர்கள், முக்கியமாக Laos; எழுத்துமுறை: Lao.
- Standard Tibetan 713 %: சுமார் 1,200,000 தாய்மொழியாளர்கள், முக்கியமாக China (Tibet), India, Nepal; எழுத்துமுறை: Tibetan. உறுதியற்ற எண்.
- Shan 693 %: சுமார் 4,700,000 தாய்மொழியாளர்கள், முக்கியமாக Myanmar, Thailand; எழுத்துமுறை: Myanmar (Shan). உறுதியற்ற எண்.
- Tigrinya 500 %: சுமார் 9,900,000 தாய்மொழியாளர்கள், முக்கியமாக Eritrea, Ethiopia; எழுத்துமுறை: Ge'ez.
- Amharic 482 %: சுமார் 31,800,000 தாய்மொழியாளர்கள், முக்கியமாக Ethiopia; எழுத்துமுறை: Ge'ez.
- Odia 399 %: சுமார் 34,000,000 தாய்மொழியாளர்கள், முக்கியமாக India (Odisha); எழுத்துமுறை: Odia.
வேறு எழுத்துமுறை கொண்ட மொழிகள் அதிகம் செலுத்துகின்றனவா?
சராசரியாக இல்லை: ChatGPT / Copilot இல் லத்தீன் எழுத்துமுறையின் இடைநிலை மொழி 72 % செலுத்துகிறது, வேறு எழுத்துமுறையின் இடைநிலை மொழி 79 %. ஆனால் மிக விலையுயர்ந்த மொழிகள் அனைத்துக்கும் சொந்த எழுத்துமுறை உண்டு, எடுத்துக்காட்டாக Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao மற்றும் Shan (Myanmar).
என் சொந்த உரையின் டோக்கன் வரியை எப்படி அளப்பது?
நீங்கள் பயன்படுத்தும் மாதிரியின் டோக்கனைசர் மூலம் உங்கள் உரையின் டோக்கன்களையும் அதன் ஆங்கில மொழிபெயர்ப்பின் டோக்கன்களையும் எண்ணி, முதல் எண்ணை இரண்டாவதால் வகுக்கவும். OpenAI இன் டோக்கனைசர் பொதுவில் உள்ளது; Anthropic, Google ஆகியவை தங்கள் API மூலம் டோக்கன்களை எண்ணுகின்றன. ஒரு வாக்கியம் தோராயமான எண்ணையே தரும்; உரை அதிகமானால் நம்பகத்தன்மையும் அதிகம்.
எழுதியவர்: Sara Moricz, ஆய்வுத் தரவு அறிவியலாளர். புதுப்பிக்கப்பட்டது 2026-10-26.
In English
Tamil needs 98 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 98 % faster, chat memory fills up just as much faster, and answers take just as much longer. Tamil ranks 47 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 45 % (Gemini) to 275 % (Meta AI / Llama). Measured on 1,012 FLORES-200 sentences.