0 % = bahasa Inggeris · seret untuk memutar glob · klik sebuah negara
Berapa banyak token tambahan yang diperlukan sesuatu bahasa berbanding bahasa Inggeris untuk teks yang sama. Lebih banyak token bermakna kuota anda habis lebih cepat, sembang mengingati lebih sedikit dan jawapan mengambil masa lebih lama. Diukur pada 1,012 ayat yang sama yang diterjemahkan ke dalam 204 bahasa (FLORES-200).
Model AI membaca teks sebagai token. Sebelum model melihat teks anda, pentokennya memotongnya kepada cebisan. Anda membayar bagi setiap token, memori sembang dikira dalam token dan jawapan ditulis satu token pada satu masa. Ayat yang sama dalam ChatGPT / Copilot:
Cukai token ialah bilangan token sesuatu bahasa ÷ bilangan token bahasa Inggeris untuk teks yang sama, bagi setiap pentoken. Petrov et al. (2023) memperkenalkan konsep ini supaya pentokenan lebih mudah dibandingkan antara bahasa, tetapi menamakannya premium pentokenan.
Cukai token dikira dengan set data FLORES-200, yang mengandungi 1,012 ayat yang sama yang diterjemahkan ke dalam 204 bahasa. Laman ini menggunakan data yang sama sekali seperti Petrov et al. (commit 365c3f8, 28 Nov 2023). Sesiapa sahaja boleh menghasilkan semula angka daripada repositori ini. Cukai token untuk lebih banyak pentoken ada dalam fail data.csv. Inilah model-model yang angkanya kami tunjukkan:
Setiap negara diwarnakan mengikut satu bahasa utama, yang memudahkan negara berbilang bahasa; setiap bahasa dalam senarai boleh disemak secara berasingan.
Ayat contoh daripada FLORES-200 (CC BY-SA 4.0) melalui Petrov et al.
Oleh Sara Moricz.