0 % = 英語 · ドラッグで地球儀を回転 · 国をクリック
同じ文章に対して、ある言語が英語よりどれだけ多くのトークンを必要とするか。トークンが多いほど、利用上限に早く達し、チャットが覚えていられる量が減り、回答に時間がかかります。204 言語に翻訳された同じ 1,012 文で測定しました（FLORES-200）。
AI モデルは文章をトークンとして読みます。モデルが文章を見る前に、トークナイザーがそれを細かく切り分けます。料金はトークン単位で、チャットの記憶もトークンで数えられ、回答は 1 トークンずつ書かれます。同じ文を ChatGPT / Copilot で:
言語税とは、同じ文章についてある言語のトークン数 ÷ 英語のトークン数を、トークナイザーごとに求めたものです。Petrov ら（2023）が言語間でトークン化を比べやすくするためにこの概念を導入しましたが、彼らはトークン化プレミアムと呼んでいます。
言語税は、同じ 1,012 文を 204 言語に翻訳したデータセット FLORES-200 で計算しています。このサイトは Petrov らとまったく同じデータを使っています（commit 365c3f8、2023 年 11 月 28 日）。このリポジトリから誰でも数値を再現できます。ほかのトークナイザーの言語税はファイル data.csv にあります。数値を示しているのは次のモデルです:
各国は 1 つの主要言語で色分けしているため、多言語国家は単純化されています。リストの各言語は個別に確認できます。
例文は FLORES-200（CC BY-SA 4.0）から、Petrov らを通じて取得しました。
著者：Sara Moricz