বাংলার ইংরেজির চেয়ে কত বেশি টোকেন লাগে?
ChatGPT / Copilot-এ একই লেখার জন্য বাংলার ইংরেজির চেয়ে 70 % বেশি টোকেন লাগে। তাই আপনার কোটা প্রায় 70 % দ্রুত ফুরায়, চ্যাটের মেমরি ততটাই দ্রুত ভরে, আর উত্তরেও ততটাই বেশি সময় লাগে। 203টি ভাষার মধ্যে বাংলার স্থান 123, যেখানে 1 সবচেয়ে ব্যয়বহুল। 6টি বর্তমান এআই টোকেনাইজারে টোকেন ট্যাক্স 20 % (Gemini) থেকে 167 % (Claude)।
| মডেল | টোকেনাইজার | টোকেন ট্যাক্স |
|---|
| ChatGPT / Copilot | o200k_base | 70 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 20 % |
| Claude | Claude (unpublished) | 167 % |
| Meta AI / Llama | Llama 4 | 105 % |
| DeepSeek | DeepSeek V3 | 102 % |
| Qwen | Qwen 3.5 (248k) | 114 % |
টোকেন ট্যাক্স কী?
টোকেন ট্যাক্স হলো একটি ভাষার টোকেন ÷ একই লেখার জন্য ইংরেজির টোকেন, প্রতিটি টোকেনাইজারের জন্য আলাদা। Petrov ও সহকর্মীরা (2023) ভাষাগুলোর মধ্যে টোকেনাইজেশন সহজে তুলনা করতে ধারণাটি দেন, তবে তাঁরা একে টোকেনাইজেশন প্রিমিয়াম বলেন। এর কোনো প্রতিষ্ঠিত বাংলা পরিভাষা এখনো নেই; একে টোকেন কর-ও বলা হয়, ইংরেজিতে token tax।
টোকেনাইজার তার শব্দভান্ডার মূলত ইংরেজি লেখা থেকে শেখে, তাই সাধারণ ইংরেজি শব্দ একটি টোকেনে ধরে, আর বাংলা লেখা আরও বেশি ও ছোট টুকরোয় কাটা পড়ে। কম প্রশিক্ষণ-লেখা ও অ-লাতিন লিপির ভাষাগুলো সাধারণত সবচেয়ে বেশি দেয়।
Petrov ও সহকর্মীরা সমস্যাটি এভাবে সংক্ষেপে বলেন: “The same text translated into different languages can have drastically different tokenization lengths” (NeurIPS 2023)।
কীভাবে মাপা হয়েছে?
প্রতিটি টোকেনাইজার FLORES-200-এর devtest অংশের একই 1,012টি বাক্যে বাংলা ও ইংরেজির টোকেন গুনেছে, Petrov ও সহকর্মীদের (NeurIPS 2023) পদ্ধতিতে। গণনার তারিখ 2026-10-26।
টোকেন কী?
এআই মডেল লেখাকে টোকেন হিসেবে পড়ে। মডেল আপনার লেখা দেখার আগে তার টোকেনাইজার সেটিকে টুকরো টুকরো করে কাটে। আপনি প্রতি টোকেনে অর্থ দেন, চ্যাটের মেমরি টোকেনে গোনা হয় আর উত্তর একটি একটি টোকেন করে লেখা হয়। ChatGPT / Copilot অক্টোবর ২০২৬-এর একটি বিজ্ঞান সংবাদের শিরোনাম বাংলা ও ইংরেজিতে এভাবে কাটে:
একটিমাত্র বেহালার পাঠ নতুনদের বাজাতে শেখার সময় মস্তিষ্কের তরঙ্গের ধরন বদলে দেয়
এক | ট | িম | াত্র | ব | েহ | াল | ার | পাঠ | নতুন | দের | বাজ | াতে | শেখ | ার | সময় | ম | স্ত | িষ | ্ক | ের | তর | ঙ্গ | ের | ধর | ন | বদ | লে | দেয় = 29টি টোকেন
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12টি টোকেন
শুধু এই বাক্যের জন্য অনুপাত 29 ÷ 12 = 2.42, অর্থাৎ ইংরেজির চেয়ে 142 % বেশি টোকেন। নির্ভরযোগ্য সংখ্যার জন্য একটি বাক্য খুবই কম লেখা, তাই এই পাতার সংখ্যাগুলো FLORES-200-এর 1,012টি বাক্যে মাপা।
অন্য ভাষার তুলনায় বাংলা কেমন?
ChatGPT / Copilot-এ বাংলা দেয় 70 %, যেখানে সব 203টি ভাষার মধ্যমা 75 %।
আমি কীভাবে টোকেন ট্যাক্স কমাতে পারি?
সবচেয়ে সহজ উপায় ইংরেজিতে চ্যাট করা, যদি আপনি তাতে স্বচ্ছন্দ হন। অন্য উপায় সুপারিশ করা কঠিন, কারণ মডেলগুলো শুধু টোকেন ট্যাক্সে নয়, প্রতি টোকেনে কত ভালো উত্তর পান তাতেও আলাদা।
টোকেন ট্যাক্স নিয়ে প্রশ্ন
প্রতিটি ভাষাই কি টোকেন ট্যাক্স দেয়?
প্রায় সবাই। ChatGPT / Copilot-এ সব 203টি ভাষার ইংরেজির চেয়ে বেশি টোকেন লাগে, 23 % (Portuguese) থেকে 1 273 % (Santali), আর মধ্যমা ভাষা দেয় 75 %। এই পাতার সব 6টি মডেলে একমাত্র ব্যতিক্রম Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %।
চীনা মডেলে চীনা ভাষা কেন কম দেয়?
সরলীকৃত চীনা ChatGPT / Copilot-এ দেয় 25 %, কিন্তু Qwen-এ −9 % আর DeepSeek-এ −6 %। Alibaba (Qwen) ও DeepSeek অনেক বেশি চীনা লেখা থেকে তাদের টোকেনাইজার বানিয়েছে, তাই সাধারণ চীনা শব্দ নিজস্ব টোকেন পায়। যে ভাষার জন্য টোকেনাইজার বানানো, তার জন্যই সেটি সবচেয়ে সস্তা।
সবচেয়ে বড় ভাষাগুলোর টোকেন ট্যাক্স কত?
সবচেয়ে বেশি বলা ভাষাগুলো, আর বাংলা, সব 6টি মডেলে:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Bengali | 70 % | 20 % | 167 % | 105 % | 102 % | 114 % |
কোন এআই মডেলের টোকেন ট্যাক্স সবচেয়ে কম?
মধ্যমা ভাষা দিয়ে মাপলে: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % ও DeepSeek 107 %।
কোন ভাষাগুলো সবচেয়ে কম দেয়?
ইংরেজি, যার সঙ্গে তুলনা করে টোকেন ট্যাক্স মাপা হয় (0 %)। শুধু চীনা মডেলে চীনা ভাষা এর চেয়েও কম দেয়, উপরে দেখুন। ইংরেজির পরে ChatGPT / Copilot-এ সবচেয়ে সস্তা পাঁচটি ভাষা Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % ও Standard Malay 30 %।
কোন ভাষাগুলো সবচেয়ে বেশি দেয়?
মাতৃভাষী সংখ্যা উইকিপিডিয়া থেকে নেওয়া (আদমশুমারি ও Ethnologue)। ChatGPT / Copilot-এ 203টি ভাষার মধ্যে সবচেয়ে ব্যয়বহুল ১০টি, টোকেন ট্যাক্স ও মাতৃভাষী সংখ্যাসহ:
- Santali 1 273 %: প্রায় 7,600,000 মাতৃভাষী, প্রধানত India, Bangladesh, Nepal-এ; লিপি: Ol Chiki।
- Tamasheq 921 %: প্রায় 900,000 মাতৃভাষী, প্রধানত Mali, Burkina Faso-এ; লিপি: Tifinagh। অনিশ্চিত সংখ্যা।
- Central Atlas Tamazight 915 %: প্রায় 2,700,000 মাতৃভাষী, প্রধানত Morocco-এ; লিপি: Tifinagh। অনিশ্চিত সংখ্যা।
- Dzongkha 803 %: প্রায় 171,000 মাতৃভাষী, প্রধানত Bhutan-এ; লিপি: Tibetan। অনিশ্চিত সংখ্যা।
- Lao 723 %: প্রায় 3,700,000 মাতৃভাষী, প্রধানত Laos-এ; লিপি: Lao।
- Standard Tibetan 713 %: প্রায় 1,200,000 মাতৃভাষী, প্রধানত China (Tibet), India, Nepal-এ; লিপি: Tibetan। অনিশ্চিত সংখ্যা।
- Shan 693 %: প্রায় 4,700,000 মাতৃভাষী, প্রধানত Myanmar, Thailand-এ; লিপি: Myanmar (Shan)। অনিশ্চিত সংখ্যা।
- Tigrinya 500 %: প্রায় 9,900,000 মাতৃভাষী, প্রধানত Eritrea, Ethiopia-এ; লিপি: Ge'ez।
- Amharic 482 %: প্রায় 31,800,000 মাতৃভাষী, প্রধানত Ethiopia-এ; লিপি: Ge'ez।
- Odia 399 %: প্রায় 34,000,000 মাতৃভাষী, প্রধানত India (Odisha)-এ; লিপি: Odia।
অন্য লিপির ভাষাগুলো কি বেশি দেয়?
গড়ে নয়: ChatGPT / Copilot-এ লাতিন বর্ণমালার মধ্যমা ভাষা দেয় 72 %, আর অন্য লিপির মধ্যমা ভাষা 79 %। তবে সবচেয়ে ব্যয়বহুল ভাষাগুলোর সবারই নিজস্ব লিপি, যেমন Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao ও Shan (Myanmar)।
আমার নিজের লেখার টোকেন ট্যাক্স কীভাবে মাপব?
আপনার মডেলের টোকেনাইজার দিয়ে আপনার লেখা ও তার ইংরেজি অনুবাদের টোকেন গুনুন, তারপর প্রথম সংখ্যাকে দ্বিতীয়টি দিয়ে ভাগ করুন। OpenAI-এর টোকেনাইজার সবার জন্য উন্মুক্ত; Anthropic ও Google তাদের API দিয়ে টোকেন গোনে। একটি বাক্য মোটামুটি সংখ্যা দেয়; লেখা যত বেশি, তত নির্ভরযোগ্য।
লেখক: Sara Moricz, গবেষক ডেটা বিজ্ঞানী। হালনাগাদ 2026-10-26।
In English
Bengali needs 70 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 70 % faster, chat memory fills up just as much faster, and answers take just as much longer. Bengali ranks 123 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 20 % (Gemini) to 167 % (Claude). Measured on 1,012 FLORES-200 sentences.