ทุกภาษาต้องจ่ายภาษีภาษา

โมเดล AI อ่านข้อความเป็นโทเค็น ก่อนที่โมเดลจะเห็นข้อความของคุณ ตัวตัดโทเค็นจะหั่นข้อความเป็นชิ้น ๆ คุณจ่ายตามจำนวนโทเค็น ความจำของแชตนับเป็นโทเค็น และคำตอบถูกเขียนทีละโทเค็น ประโยคเดียวกันบน ChatGPT / Copilot:

ภาษีภาษาคือจำนวนโทเค็นของภาษาหนึ่ง ÷ จำนวนโทเค็นของภาษาอังกฤษสำหรับข้อความเดียวกัน แยกตามตัวตัดโทเค็น Petrov และคณะ (2023) เสนอแนวคิดนี้เพื่อให้เปรียบเทียบการตัดโทเค็นระหว่างภาษาได้ง่ายขึ้น แต่เรียกว่าเบี้ยการตัดโทเค็น

ภาษีภาษาคำนวณจากชุดข้อมูล FLORES-200 ซึ่งมีประโยคชุดเดียวกัน 1,012 ประโยคที่แปลเป็น 204 ภาษา เว็บไซต์นี้ใช้ข้อมูลชุดเดียวกับ Petrov และคณะ ทุกประการ (commit 365c3f8, 28 พ.ย. 2023) ใครก็สามารถคำนวณตัวเลขซ้ำได้จากคลังโค้ดนี้ ภาษีภาษาของตัวตัดโทเค็นอื่น ๆ อยู่ในไฟล์ data.csv นี่คือโมเดลที่เราแสดงตัวเลขให้ดู:

แต่ละประเทศระบายสีตามภาษาหลักหนึ่งภาษา ซึ่งทำให้ประเทศที่มีหลายภาษาดูง่ายขึ้น ทุกภาษาในรายการเลือกดูแยกได้

ประโยคตัวอย่างมาจาก FLORES-200 (CC BY-SA 4.0) ผ่าน Petrov และคณะ

โดย Sara Moricz