हर भाषा टोकन टैक्स चुकाती है

एआई मॉडल पाठ को टोकन के रूप में पढ़ते हैं। मॉडल के आपका पाठ देखने से पहले उसका टोकनाइज़र उसे टुकड़ों में काटता है। आप प्रति टोकन भुगतान करते हैं, चैट की मेमोरी टोकन में गिनी जाती है और जवाब एक-एक टोकन करके लिखे जाते हैं। यही वाक्य ChatGPT / Copilot में:

टोकन टैक्स किसी भाषा के टोकन ÷ उसी पाठ के लिए अंग्रेज़ी के टोकन है, हर टोकनाइज़र के लिए अलग। Petrov और साथियों (2023) ने भाषाओं के बीच टोकनाइज़ेशन की तुलना आसान बनाने के लिए यह अवधारणा दी, पर वे इसे टोकनाइज़ेशन प्रीमियम कहते हैं।

टोकन टैक्स FLORES-200 डेटासेट पर निकाला जाता है, जिसमें वही 1,012 वाक्य 204 भाषाओं में अनूदित हैं। यह साइट ठीक वही डेटा इस्तेमाल करती है जो Petrov और साथियों ने किया (commit 365c3f8, 28 नवंबर 2023)। कोई भी इस रिपॉज़िटरी से आँकड़े दोबारा निकाल सकता है। और टोकनाइज़र्स का टोकन टैक्स फ़ाइल data.csv में है। ये ठीक वही मॉडल हैं जिनके आँकड़े हम दिखाते हैं:

हर देश को एक मुख्य भाषा के अनुसार रंगा गया है, जिससे बहुभाषी देश सरल हो जाते हैं; सूची की हर भाषा अलग से देखी जा सकती है।

उदाहरण वाक्य FLORES-200 से हैं (CC BY-SA 4.0), Petrov और साथियों के माध्यम से।

लेखिका: Sara Moricz।