اردو کو انگریزی سے کتنے زیادہ ٹوکن درکار ہیں؟
ChatGPT / Copilot میں ایک ہی متن کے لیے اردو کو انگریزی سے 65 % زیادہ ٹوکن درکار ہیں۔ اس لیے آپ کا کوٹا تقریباً 65 % جلدی ختم ہوتا ہے، چیٹ کی یادداشت اتنی ہی جلدی بھرتی ہے، اور جواب بھی اتنا ہی زیادہ وقت لیتے ہیں۔ اردو 203 زبانوں میں 136ویں نمبر پر ہے، جہاں 1 سب سے مہنگی ہے۔ 6 موجودہ اے آئی ٹوکنائزرز میں ٹوکن ٹیکس 50 % (Gemini) سے 140 % (DeepSeek) تک ہے۔
| ماڈل | ٹوکنائزر | ٹوکن ٹیکس |
|---|
| ChatGPT / Copilot | o200k_base | 65 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 50 % |
| Claude | Claude (unpublished) | 136 % |
| Meta AI / Llama | Llama 4 | 89 % |
| DeepSeek | DeepSeek V3 | 140 % |
| Qwen | Qwen 3.5 (248k) | 94 % |
ٹوکن ٹیکس کیا ہے؟
ٹوکن ٹیکس کسی زبان کے ٹوکن ÷ اسی متن کے لیے انگریزی کے ٹوکن ہے، ہر ٹوکنائزر کے لیے الگ۔ Petrov اور ساتھیوں (2023) نے یہ تصور زبانوں کے درمیان ٹوکنائزیشن کا موازنہ آسان بنانے کے لیے پیش کیا، لیکن وہ اسے ٹوکنائزیشن پریمیم کہتے ہیں۔ اس کے لیے ابھی کوئی طے شدہ اردو اصطلاح نہیں؛ انگریزی میں اسے token tax کہا جاتا ہے۔
ٹوکنائزر اپنا ذخیرۂ الفاظ زیادہ تر انگریزی متن سے سیکھتے ہیں، اس لیے عام انگریزی الفاظ ایک ٹوکن میں آ جاتے ہیں جبکہ اردو متن زیادہ اور چھوٹے ٹکڑوں میں کٹ جاتا ہے۔ کم تربیتی متن اور غیر لاطینی رسم الخط والی زبانیں عموماً سب سے زیادہ ادا کرتی ہیں۔
Petrov اور ساتھی مسئلے کا خلاصہ یوں کرتے ہیں: “The same text translated into different languages can have drastically different tokenization lengths” (NeurIPS 2023)۔
یہ کیسے ناپا گیا؟
ہر ٹوکنائزر نے FLORES-200 کے devtest حصے کے انہی 1,012 جملوں میں اردو اور انگریزی کے ٹوکن گنے، Petrov اور ساتھیوں (NeurIPS 2023) کے طریقے سے۔ 2026-10-26 کو گنا گیا۔
ٹوکن کیا ہے؟
اے آئی ماڈل متن کو ٹوکن کی صورت میں پڑھتے ہیں۔ ماڈل کے آپ کا متن دیکھنے سے پہلے اس کا ٹوکنائزر اسے ٹکڑوں میں کاٹ دیتا ہے۔ آپ فی ٹوکن ادائیگی کرتے ہیں، چیٹ کی یادداشت ٹوکن میں گنی جاتی ہے اور جواب ایک ایک ٹوکن کر کے لکھے جاتے ہیں۔ ChatGPT / Copilot اکتوبر 2026 کی ایک سائنسی خبر کی سرخی کو اردو اور انگریزی میں یوں کاٹتا ہے:
وائلن کا ایک ہی سبق ابتدائی سیکھنے والوں کے دماغی لہروں کے نمونے بدل دیتا ہے جب وہ بجانا سیکھتے ہیں
و | ائل | ن | کا | ایک | ہی | سبق | ابتد | ائی | س | یکھ | نے | والوں | کے | دم | اغ | ی | لہ | روں | کے | نم | ونے | بدل | دیتا | ہے | جب | وہ | بج | انا | س | یکھ | تے | ہیں = 33 ٹوکن
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12 ٹوکن
صرف اس جملے کے لیے تناسب 33 ÷ 12 = 2.75 ہے، یعنی انگریزی سے 175 % زیادہ ٹوکن۔ ایک جملہ قابل اعتماد عدد کے لیے بہت کم متن ہے، اسی لیے اس صفحے کے اعداد FLORES-200 کے 1,012 جملوں پر ناپے گئے ہیں۔
اردو دوسری زبانوں کے مقابلے میں کیسی ہے؟
ChatGPT / Copilot میں اردو 65 % ادا کرتی ہے، جبکہ تمام 203 زبانوں کا وسطانیہ 75 % ہے۔
میں ٹوکن ٹیکس کیسے کم کر سکتا ہوں؟
سب سے آسان طریقہ انگریزی میں چیٹ کرنا ہے، اگر آپ اس میں آرام دہ ہیں۔ دوسرے طریقے تجویز کرنا مشکل ہے، کیونکہ ماڈل صرف ٹوکن ٹیکس میں نہیں بلکہ اس میں بھی مختلف ہیں کہ آپ کو فی ٹوکن کتنا اچھا جواب ملتا ہے۔
ٹوکن ٹیکس کے بارے میں سوالات
کیا ہر زبان ٹوکن ٹیکس ادا کرتی ہے؟
تقریباً ہر زبان۔ ChatGPT / Copilot میں تمام 203 زبانوں کو انگریزی سے زیادہ ٹوکن درکار ہیں، 23 % (Portuguese) سے 1 273 % (Santali) تک، اور وسطانی زبان 75 % ادا کرتی ہے۔ اس صفحے کے تمام 6 ماڈلز میں واحد استثنا Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 % ہیں۔
چینی زبان چینی ماڈلز میں کم کیوں ادا کرتی ہے؟
آسان چینی ChatGPT / Copilot میں 25 % ادا کرتی ہے، لیکن Qwen میں −9 % اور DeepSeek میں −6 %۔ Alibaba (Qwen) اور DeepSeek نے اپنے ٹوکنائزر کہیں زیادہ چینی متن سے بنائے، اس لیے عام چینی الفاظ کو اپنے ٹوکن ملتے ہیں۔ ٹوکنائزر ان زبانوں کے لیے سب سے سستا ہوتا ہے جن کے لیے وہ بنایا گیا۔
سب سے بڑی زبانوں کا ٹوکن ٹیکس کتنا ہے؟
سب سے زیادہ بولی جانے والی زبانیں، اور اردو، تمام 6 ماڈلز میں:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Urdu | 65 % | 50 % | 136 % | 89 % | 140 % | 94 % |
کس اے آئی ماڈل کا ٹوکن ٹیکس سب سے کم ہے؟
وسطانی زبان کے حساب سے: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % اور DeepSeek 107 %۔
کون سی زبانیں سب سے کم ادا کرتی ہیں؟
انگریزی، جس کے مقابلے میں ٹوکن ٹیکس ناپا جاتا ہے (0 %)۔ صرف چینی ماڈلز میں چینی اس سے بھی کم ادا کرتی ہے، اوپر دیکھیں۔ انگریزی کے بعد ChatGPT / Copilot میں پانچ سب سے سستی زبانیں Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % اور Standard Malay 30 % ہیں۔
کون سی زبانیں سب سے زیادہ ادا کرتی ہیں؟
مادری زبان بولنے والوں کی تعداد ویکیپیڈیا سے لی گئی ہے (مردم شماری اور Ethnologue)۔ ChatGPT / Copilot میں 203 زبانوں میں سے 10 سب سے مہنگی، ٹوکن ٹیکس اور مادری زبان بولنے والوں کی تعداد کے ساتھ:
- Santali 1 273 %: تقریباً 7,600,000 مادری زبان بولنے والے، زیادہ تر India, Bangladesh, Nepal میں؛ رسم الخط: Ol Chiki۔
- Tamasheq 921 %: تقریباً 900,000 مادری زبان بولنے والے، زیادہ تر Mali, Burkina Faso میں؛ رسم الخط: Tifinagh۔ غیر یقینی عدد۔
- Central Atlas Tamazight 915 %: تقریباً 2,700,000 مادری زبان بولنے والے، زیادہ تر Morocco میں؛ رسم الخط: Tifinagh۔ غیر یقینی عدد۔
- Dzongkha 803 %: تقریباً 171,000 مادری زبان بولنے والے، زیادہ تر Bhutan میں؛ رسم الخط: Tibetan۔ غیر یقینی عدد۔
- Lao 723 %: تقریباً 3,700,000 مادری زبان بولنے والے، زیادہ تر Laos میں؛ رسم الخط: Lao۔
- Standard Tibetan 713 %: تقریباً 1,200,000 مادری زبان بولنے والے، زیادہ تر China (Tibet), India, Nepal میں؛ رسم الخط: Tibetan۔ غیر یقینی عدد۔
- Shan 693 %: تقریباً 4,700,000 مادری زبان بولنے والے، زیادہ تر Myanmar, Thailand میں؛ رسم الخط: Myanmar (Shan)۔ غیر یقینی عدد۔
- Tigrinya 500 %: تقریباً 9,900,000 مادری زبان بولنے والے، زیادہ تر Eritrea, Ethiopia میں؛ رسم الخط: Ge'ez۔
- Amharic 482 %: تقریباً 31,800,000 مادری زبان بولنے والے، زیادہ تر Ethiopia میں؛ رسم الخط: Ge'ez۔
- Odia 399 %: تقریباً 34,000,000 مادری زبان بولنے والے، زیادہ تر India (Odisha) میں؛ رسم الخط: Odia۔
کیا دوسرے رسم الخط والی زبانیں زیادہ ادا کرتی ہیں؟
اوسطاً نہیں: ChatGPT / Copilot میں لاطینی حروف والی وسطانی زبان 72 % اور دوسرے رسم الخط والی وسطانی زبان 79 % ادا کرتی ہے۔ لیکن سب سے مہنگی زبانوں کا اپنا اپنا رسم الخط ہے، جیسے Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao اور Shan (Myanmar)۔
میں اپنے متن کا ٹوکن ٹیکس کیسے ناپوں؟
اپنے متن اور اس کے انگریزی ترجمے کے ٹوکن اپنے ماڈل کے ٹوکنائزر سے گنیں، اور پہلے عدد کو دوسرے سے تقسیم کریں۔ OpenAI کا ٹوکنائزر عام دستیاب ہے؛ Anthropic اور Google اپنے API کے ذریعے ٹوکن گنتے ہیں۔ ایک جملہ موٹا اندازہ دیتا ہے؛ جتنا زیادہ متن، اتنا قابل اعتماد۔
از Sara Moricz، ریسرچ ڈیٹا سائنٹسٹ۔ تازہ کاری 2026-10-26۔
In English
Urdu needs 65 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 65 % faster, chat memory fills up just as much faster, and answers take just as much longer. Urdu ranks 136 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 50 % (Gemini) to 140 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.