ਹਰ ਭਾਸ਼ਾ ਟੋਕਨ ਟੈਕਸ ਭਰਦੀ ਹੈ

ਏਆਈ ਮਾਡਲ ਲਿਖਤ ਨੂੰ ਟੋਕਨਾਂ ਵਜੋਂ ਪੜ੍ਹਦੇ ਹਨ। ਮਾਡਲ ਦੇ ਤੁਹਾਡੀ ਲਿਖਤ ਵੇਖਣ ਤੋਂ ਪਹਿਲਾਂ ਉਸ ਦਾ ਟੋਕਨਾਈਜ਼ਰ ਇਸ ਨੂੰ ਟੁਕੜਿਆਂ ਵਿੱਚ ਕੱਟਦਾ ਹੈ। ਤੁਸੀਂ ਹਰ ਟੋਕਨ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ, ਚੈਟ ਦੀ ਯਾਦ ਟੋਕਨਾਂ ਵਿੱਚ ਗਿਣੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਜਵਾਬ ਇੱਕ-ਇੱਕ ਟੋਕਨ ਕਰਕੇ ਲਿਖੇ ਜਾਂਦੇ ਹਨ। ਇਹੀ ਵਾਕ ChatGPT / Copilot ਵਿੱਚ:

ਟੋਕਨ ਟੈਕਸ ਕਿਸੇ ਭਾਸ਼ਾ ਦੇ ਟੋਕਨ ÷ ਉਸੇ ਲਿਖਤ ਲਈ ਅੰਗਰੇਜ਼ੀ ਦੇ ਟੋਕਨ ਹੈ, ਹਰ ਟੋਕਨਾਈਜ਼ਰ ਲਈ ਵੱਖਰਾ। Petrov ਅਤੇ ਸਾਥੀਆਂ (2023) ਨੇ ਭਾਸ਼ਾਵਾਂ ਵਿਚਕਾਰ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਦੀ ਤੁਲਨਾ ਸੌਖੀ ਕਰਨ ਲਈ ਇਹ ਧਾਰਨਾ ਦਿੱਤੀ, ਪਰ ਉਹ ਇਸ ਨੂੰ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਪ੍ਰੀਮੀਅਮ ਕਹਿੰਦੇ ਹਨ।

ਟੋਕਨ ਟੈਕਸ FLORES-200 ਡੇਟਾਸੈੱਟ 'ਤੇ ਕੱਢਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਉਹੀ 1,012 ਵਾਕ 204 ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਅਨੁਵਾਦ ਕੀਤੇ ਹੋਏ ਹਨ। ਇਹ ਸਾਈਟ ਬਿਲਕੁਲ ਉਹੀ ਡੇਟਾ ਵਰਤਦੀ ਹੈ ਜੋ Petrov ਅਤੇ ਸਾਥੀਆਂ ਨੇ ਵਰਤਿਆ (commit 365c3f8, 28 ਨਵੰਬਰ 2023)। ਕੋਈ ਵੀ ਇਸ ਰਿਪੋਜ਼ਟਰੀ ਤੋਂ ਅੰਕੜੇ ਦੁਬਾਰਾ ਕੱਢ ਸਕਦਾ ਹੈ। ਹੋਰ ਟੋਕਨਾਈਜ਼ਰਾਂ ਦਾ ਟੋਕਨ ਟੈਕਸ ਫ਼ਾਈਲ data.csv ਵਿੱਚ ਹੈ। ਇਹ ਬਿਲਕੁਲ ਉਹ ਮਾਡਲ ਹਨ ਜਿਨ੍ਹਾਂ ਦੇ ਅੰਕੜੇ ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ:

ਹਰ ਦੇਸ਼ ਨੂੰ ਇੱਕ ਮੁੱਖ ਭਾਸ਼ਾ ਮੁਤਾਬਕ ਰੰਗਿਆ ਗਿਆ ਹੈ, ਜੋ ਬਹੁ-ਭਾਸ਼ਾਈ ਦੇਸ਼ਾਂ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ; ਸੂਚੀ ਦੀ ਹਰ ਭਾਸ਼ਾ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਵੇਖੀ ਜਾ ਸਕਦੀ ਹੈ।

ਉਦਾਹਰਨ ਵਾਕ FLORES-200 ਤੋਂ ਹਨ (CC BY-SA 4.0), Petrov ਅਤੇ ਸਾਥੀਆਂ ਰਾਹੀਂ।

ਲੇਖਿਕਾ: Sara Moricz।