כל שפה משלמת מס טוקנים

מודלי בינה מלאכותית קוראים טקסט כטוקנים. לפני שהמודל רואה את הטקסט שלכם, הטוקנייזר שלו חותך אותו לחתיכות. משלמים לפי טוקן, זיכרון הצ'אט נספר בטוקנים והתשובות נכתבות טוקן אחר טוקן. אותו משפט ב־ChatGPT / Copilot:

מס הטוקנים הוא מספר הטוקנים של שפה ÷ מספר הטוקנים של אנגלית עבור אותו טקסט, לכל טוקנייזר. Petrov ועמיתיו (2023) הציגו את המושג כדי להקל על השוואת טוקניזציה בין שפות, אבל קוראים לו פרמיית טוקניזציה.

מס הטוקנים מחושב על מאגר הנתונים FLORES-200, שבו אותם 1,012 משפטים מתורגמים ל־204 שפות. האתר משתמש בדיוק באותם נתונים כמו Petrov ועמיתיו (commit 365c3f8, ‏28 בנובמבר 2023). כל אחד יכול לשחזר את המספרים מהמאגר הזה. מס הטוקנים לטוקנייזרים נוספים נמצא בקובץ data.csv. אלה בדיוק המודלים שאנו מציגים עבורם מספרים:

כל מדינה צבועה לפי שפה עיקרית אחת, מה שמפשט מדינות רב־לשוניות; ניתן לבדוק כל שפה ברשימה בנפרד.

משפטי הדוגמה לקוחים מ־FLORES-200 (CC BY-SA 4.0) דרך Petrov ועמיתיו.

מאת Sara Moricz.