0 % = 英語 · 拖曳旋轉地球儀 · 點選一個國家
同樣的文字，一種語言比英語多需要多少 token。token 越多，你的額度用得越快，聊天記住的內容越少，回答也越慢。以翻譯成 204 種語言的同一批 1,012 個句子測量（FLORES-200）。
AI 模型把文字當作 token 來讀。模型看到你的文字之前，分詞器會先把它切成小塊。你按 token 付費，聊天記憶以 token 計算，回答也是一個 token 一個 token 寫出來的。同一句話在 ChatGPT / Copilot 中：
語言稅就是同一段文字中某種語言的 token 數 ÷ 英語的 token 數，依分詞器分別計算。Petrov 等人（2023）提出這個概念，讓不同語言的分詞更容易比較，但他們稱之為分詞溢價。
語言稅以 FLORES-200 資料集計算，其中同樣的 1,012 個句子被翻譯成 204 種語言。本網站使用的資料與 Petrov 等人完全相同（commit 365c3f8，2023 年 11 月 28 日）。任何人都可以用這個程式庫重現這些數字。更多分詞器的語言稅見檔案 data.csv。我們顯示數字的正是以下模型：
每個國家依一種主要語言著色，這簡化了多語言國家；清單中的每種語言都可以單獨查看。
範例句子來自 FLORES-200（CC BY-SA 4.0），經由 Petrov 等人。
作者：Sara Moricz。