मराठीला इंग्रजीपेक्षा किती जास्त टोकन लागतात?
ChatGPT / Copilot मध्ये एकाच मजकुरासाठी मराठीला इंग्रजीपेक्षा 82 % जास्त टोकन लागतात. त्यामुळे तुमचा कोटा सुमारे 82 % लवकर संपतो, चॅटची स्मृती तितकीच लवकर भरते, आणि उत्तरांनाही तितकाच जास्त वेळ लागतो. 203 भाषांमध्ये मराठीचा क्रमांक 76 आहे, जिथे 1 सर्वात महाग. 6 सध्याच्या एआय टोकनायझर्समध्ये टोकन कर 39 % (Gemini) ते 200 % (DeepSeek) आहे.
| मॉडेल | टोकनायझर | टोकन कर |
|---|
| ChatGPT / Copilot | o200k_base | 82 % |
| Gemini | Gemini 3.x (unpublished; = Gemma 4 on text) | 39 % |
| Claude | Claude (unpublished) | 139 % |
| Meta AI / Llama | Llama 4 | 91 % |
| DeepSeek | DeepSeek V3 | 200 % |
| Qwen | Qwen 3.5 (248k) | 125 % |
टोकन कर म्हणजे काय?
टोकन कर म्हणजे एखाद्या भाषेचे टोकन ÷ त्याच मजकुरासाठी इंग्रजीचे टोकन, प्रत्येक टोकनायझरसाठी वेगळा. Petrov आणि सहकारी (2023) यांनी भाषांमधील टोकनायझेशनची तुलना सोपी करण्यासाठी ही संकल्पना मांडली, पण ते तिला टोकनायझेशन प्रीमियम म्हणतात. यासाठी अजून प्रस्थापित मराठी संज्ञा नाही; याला टोकन टॅक्सही म्हणतात, इंग्रजीत token tax.
टोकनायझर आपला शब्दसंग्रह मुख्यतः इंग्रजी मजकुरातून शिकतात, त्यामुळे सामान्य इंग्रजी शब्द एका टोकनमध्ये बसतात, तर मराठी मजकूर जास्त आणि लहान तुकड्यांत कापला जातो. कमी प्रशिक्षण-मजकूर आणि लॅटिनेतर लिपी असलेल्या भाषा सहसा सर्वात जास्त भरतात.
Petrov आणि सहकारी समस्येचा सारांश असा देतात: “The same text translated into different languages can have drastically different tokenization lengths” (NeurIPS 2023).
हे कसे मोजले?
प्रत्येक टोकनायझरने FLORES-200 च्या devtest भागातील त्याच 1,012 वाक्यांमधील मराठी आणि इंग्रजी टोकन मोजले, Petrov आणि सहकारी (NeurIPS 2023) यांच्या पद्धतीने. मोजणी 2026-10-26.
टोकन म्हणजे काय?
एआय मॉडेल मजकूर टोकनच्या रूपात वाचतात. मॉडेल तुमचा मजकूर पाहण्याआधी त्याचा टोकनायझर तो तुकड्यांमध्ये कापतो. तुम्ही प्रति टोकन पैसे देता, चॅटची स्मृती टोकनमध्ये मोजली जाते आणि उत्तरे एकेक टोकन करून लिहिली जातात. ऑक्टोबर 2026 मधील एका विज्ञान बातमीचे शीर्षक ChatGPT / Copilot मराठी आणि इंग्रजीत असे कापतो:
व्हायोलिनचा एकच धडा, नवशिके वाजवायला शिकत असताना मेंदूच्या लहरींचे स्वरूप बदलतो
व्ह | ाय | ोल | िन | चा | एक | च | ध | डा | , | नव | श | िक | े | व | ाज | व | ायला | शिक | त | अस | ताना | में | द | ू | च्या | ल | हरी | ंच | े | स्वर | ूप | बदल | तो = 34 टोकन
One violin lesson changes brain wave patterns as beginners learn to play
One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 12 टोकन
फक्त या वाक्यासाठी गुणोत्तर 34 ÷ 12 = 2.83 आहे, म्हणजे इंग्रजीपेक्षा 183 % जास्त टोकन. विश्वासार्ह आकड्यासाठी एक वाक्य फारच कमी मजकूर आहे, म्हणून या पानावरील आकडे FLORES-200 च्या 1,012 वाक्यांवर मोजले आहेत.
इतर भाषांच्या तुलनेत मराठी कशी आहे?
ChatGPT / Copilot मध्ये मराठी 82 % भरते, तर सर्व 203 भाषांचा मध्यक 75 % आहे.
मी टोकन कर कसा कमी करू शकतो?
सर्वात सोपा मार्ग म्हणजे इंग्रजीत चॅट करणे, तुम्हाला ते सोयीचे असेल तर. इतर मार्ग सुचवणे कठीण आहे, कारण मॉडेल्स फक्त टोकन करातच नव्हे तर प्रति टोकन किती चांगले उत्तर मिळते यातही वेगळी आहेत.
टोकन कराबद्दल प्रश्न
प्रत्येक भाषा टोकन कर भरते का?
जवळजवळ प्रत्येक. ChatGPT / Copilot मध्ये सर्व 203 भाषांना इंग्रजीपेक्षा जास्त टोकन लागतात, 23 % (Portuguese) ते 1 273 % (Santali), आणि मध्यक भाषा 75 % भरते. या पानावरील सर्व 6 मॉडेल्समध्ये एकमेव अपवाद Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 % आहेत.
चिनी मॉडेल्समध्ये चिनी भाषा कमी का भरते?
सरलीकृत चिनी ChatGPT / Copilot मध्ये 25 % भरते, पण Qwen मध्ये −9 % आणि DeepSeek मध्ये −6 %. Alibaba (Qwen) आणि DeepSeek यांनी आपले टोकनायझर खूप जास्त चिनी मजकुरावर बनवले, त्यामुळे सामान्य चिनी शब्दांना स्वतःचे टोकन मिळतात. ज्या भाषांसाठी टोकनायझर बनवला, त्यांच्यासाठी तो सर्वात स्वस्त असतो.
सर्वात मोठ्या भाषांचा टोकन कर किती आहे?
सर्वाधिक बोलल्या जाणाऱ्या भाषा, आणि मराठी, सर्व 6 मॉडेल्समध्ये:
| ChatGPT / Copilot | Gemini | Claude | Meta AI / Llama | DeepSeek | Qwen |
|---|
| Chinese (Simplified) | 25 % | 8 % | 14 % | 6 % | −6 % | −9 % |
| Spanish | 32 % | 29 % | 45 % | 30 % | 50 % | 31 % |
| Hindi | 57 % | 30 % | 116 % | 65 % | 180 % | 98 % |
| Standard Arabic | 38 % | 45 % | 81 % | 59 % | 62 % | 30 % |
| Portuguese | 23 % | 25 % | 37 % | 23 % | 42 % | 23 % |
| Russian | 42 % | 35 % | 32 % | 23 % | 58 % | 35 % |
| Japanese | 66 % | 21 % | 26 % | 31 % | 42 % | 16 % |
| French | 37 % | 40 % | 48 % | 37 % | 55 % | 38 % |
| German | 31 % | 32 % | 72 % | 30 % | 51 % | 30 % |
| Marathi | 82 % | 39 % | 139 % | 91 % | 200 % | 125 % |
कोणत्या एआय मॉडेलचा टोकन कर सर्वात कमी आहे?
मध्यक भाषेनुसार मोजले तर: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % आणि DeepSeek 107 %.
कोणत्या भाषा सर्वात कमी भरतात?
इंग्रजी, जिच्याशी तुलना करून टोकन कर मोजला जातो (0 %). फक्त चिनी मॉडेल्समधील चिनी भाषा याहूनही कमी भरते, वर पाहा. इंग्रजीनंतर ChatGPT / Copilot मध्ये सर्वात स्वस्त पाच भाषा Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % आणि Standard Malay 30 % आहेत.
कोणत्या भाषा सर्वात जास्त भरतात?
मातृभाषक संख्या विकिपीडियावरून घेतली आहे (जनगणना आणि Ethnologue). ChatGPT / Copilot मध्ये 203 भाषांपैकी सर्वात महाग 10, टोकन कर आणि मातृभाषकांच्या संख्येसह:
- Santali 1 273 %: सुमारे 7,600,000 मातृभाषक, मुख्यतः India, Bangladesh, Nepal मध्ये; लिपी: Ol Chiki.
- Tamasheq 921 %: सुमारे 900,000 मातृभाषक, मुख्यतः Mali, Burkina Faso मध्ये; लिपी: Tifinagh. अनिश्चित आकडा.
- Central Atlas Tamazight 915 %: सुमारे 2,700,000 मातृभाषक, मुख्यतः Morocco मध्ये; लिपी: Tifinagh. अनिश्चित आकडा.
- Dzongkha 803 %: सुमारे 171,000 मातृभाषक, मुख्यतः Bhutan मध्ये; लिपी: Tibetan. अनिश्चित आकडा.
- Lao 723 %: सुमारे 3,700,000 मातृभाषक, मुख्यतः Laos मध्ये; लिपी: Lao.
- Standard Tibetan 713 %: सुमारे 1,200,000 मातृभाषक, मुख्यतः China (Tibet), India, Nepal मध्ये; लिपी: Tibetan. अनिश्चित आकडा.
- Shan 693 %: सुमारे 4,700,000 मातृभाषक, मुख्यतः Myanmar, Thailand मध्ये; लिपी: Myanmar (Shan). अनिश्चित आकडा.
- Tigrinya 500 %: सुमारे 9,900,000 मातृभाषक, मुख्यतः Eritrea, Ethiopia मध्ये; लिपी: Ge'ez.
- Amharic 482 %: सुमारे 31,800,000 मातृभाषक, मुख्यतः Ethiopia मध्ये; लिपी: Ge'ez.
- Odia 399 %: सुमारे 34,000,000 मातृभाषक, मुख्यतः India (Odisha) मध्ये; लिपी: Odia.
इतर लिपी असलेल्या भाषा जास्त भरतात का?
सरासरीने नाही: ChatGPT / Copilot मध्ये लॅटिन लिपीतील मध्यक भाषा 72 % भरते आणि इतर लिपीतील मध्यक भाषा 79 %. पण सर्वात महाग भाषांना सगळ्यांनाच स्वतःची लिपी आहे, उदा. Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao आणि Shan (Myanmar).
माझ्या स्वतःच्या मजकुराचा टोकन कर कसा मोजू?
तुम्ही वापरत असलेल्या मॉडेलच्या टोकनायझरने तुमच्या मजकुराचे आणि त्याच्या इंग्रजी अनुवादाचे टोकन मोजा, आणि पहिल्या संख्येला दुसऱ्याने भागा. OpenAI चा टोकनायझर सार्वजनिक आहे; Anthropic आणि Google त्यांच्या API द्वारे टोकन मोजतात. एका वाक्याने ढोबळ आकडा मिळतो; मजकूर जितका जास्त, तितका विश्वासार्ह.
लेखिका: Sara Moricz, संशोधक डेटा सायंटिस्ट. अद्ययावत 2026-10-26.
In English
Marathi needs 82 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 82 % faster, chat memory fills up just as much faster, and answers take just as much longer. Marathi ranks 76 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 39 % (Gemini) to 200 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.