0 % = İngilizce · küreyi döndürmek için sürükleyin · bir ülkeye tıklayın
Bir dilin aynı metin için İngilizceye göre kaç kat daha fazla token'a ihtiyaç duyduğu. Daha fazla token, kotanızın daha hızlı dolması, sohbetin daha az şey hatırlaması ve yanıtların daha uzun sürmesi demektir. 204 dile çevrilmiş aynı 1.012 cümle üzerinde ölçüldü (FLORES-200).
Yapay zekâ modelleri metni token olarak okur. Bir model metninizi görmeden önce tokenizer'ı onu parçalara böler. Token başına ödersiniz, sohbet belleği token olarak sayılır ve yanıtlar token token yazılır. Aynı cümle ChatGPT / Copilot üzerinde:
Token vergisi, aynı metin için bir dilin token sayısı ÷ İngilizcenin token sayısıdır, her tokenizer için ayrı ayrı. Petrov ve ark. (2023) bu kavramı tokenizasyonu diller arasında karşılaştırmayı kolaylaştırmak için ortaya attı, ancak buna tokenizasyon primi diyorlar.
Token vergisi, aynı 1.012 cümlenin 204 dile çevrildiği FLORES-200 veri kümesiyle hesaplanır. Bu site Petrov ve ark. ile tamamen aynı verileri kullanır (commit 365c3f8, 28 Kasım 2023). Herkes sayıları bu depodan yeniden üretebilir. Daha fazla tokenizer için token vergisi data.csv dosyasındadır. Sayılarını gösterdiğimiz modeller tam olarak şunlardır:
Her ülke tek bir ana dile göre renklendirilmiştir; bu, çok dilli ülkeleri basitleştirir. Listedeki her dil ayrıca incelenebilir.
Örnek cümleler FLORES-200'den alınmıştır (CC BY-SA 4.0), Petrov ve ark. aracılığıyla.
Yazan: Sara Moricz.