هر زبانی مالیات توکن می‌پردازد

مدل‌های هوش مصنوعی متن را به‌صورت توکن می‌خوانند. پیش از آنکه مدل متن شما را ببیند، توکن‌ساز آن متن را به تکه‌هایی می‌بُرد. شما به ازای هر توکن پول می‌دهید، حافظهٔ گفت‌وگو با توکن شمرده می‌شود و پاسخ‌ها توکن به توکن نوشته می‌شوند. همان جمله در ChatGPT / Copilot:

مالیات توکن برابر است با تعداد توکن‌های یک زبان ÷ تعداد توکن‌های انگلیسی برای همان متن، برای هر توکن‌ساز. Petrov و همکاران (2023) این مفهوم را برای آسان‌تر کردن مقایسهٔ توکن‌سازی میان زبان‌ها مطرح کردند، اما آن را حق‌بیمهٔ توکن‌سازی می‌نامند.

مالیات توکن روی مجموعه‌دادهٔ FLORES-200 محاسبه می‌شود که همان ۱۰۱۲ جمله را به ۲۰۴ زبان دارد. این سایت دقیقاً همان داده‌های Petrov و همکاران را به کار می‌برد (commit 365c3f8، ۲۸ نوامبر ۲۰۲۳). هر کسی می‌تواند اعداد را از این مخزن بازتولید کند. مالیات توکن برای توکن‌سازهای بیشتر در فایل data.csv است. این‌ها دقیقاً مدل‌هایی هستند که اعدادشان را نشان می‌دهیم:

هر کشور بر اساس یک زبان اصلی رنگ شده است که کشورهای چندزبانه را ساده می‌کند؛ هر زبان فهرست را می‌توان جداگانه بررسی کرد.

جمله‌های نمونه از FLORES-200 هستند (CC BY-SA 4.0) از طریق Petrov و همکاران.

نوشتهٔ Sara Moricz.