0 % = Engels · sleep om die aardbol te draai · klik op ’n land
Hoeveel meer tokens ’n taal as Engels vir dieselfde teks nodig het. Meer tokens beteken jou kwota raak gouer op, die klets onthou minder en antwoorde neem langer. Gemeet op dieselfde 1 012 sinne wat in 204 tale vertaal is (FLORES-200).
KI-modelle lees teks as tokens. Voordat ’n model jou teks sien, sny sy tokeniseerder dit in stukke. Jy betaal per token, die klets se geheue word in tokens getel en antwoorde word een token op ’n slag geskryf. Dieselfde sin in ChatGPT / Copilot:
Die tokenbelasting is die aantal tokens vir ’n taal ÷ die aantal tokens vir Engels vir dieselfde teks, per tokeniseerder. Petrov e.a. (2023) het die begrip ingestel om tokenisering makliker tussen tale te vergelyk, maar noem dit die tokeniseringspremie.
Die tokenbelasting word bereken op FLORES-200, met dieselfde 1 012 sinne in 204 tale. Hierdie webwerf gebruik presies dieselfde data as Petrov e.a. (commit 365c3f8, 28 Nov. 2023). Enigiemand kan die syfers herhaal met hierdie repo. Tokenbelasting vir meer tokeniseerders is in die lêer data.csv. Dit is presies die modelle waarvoor ons syfers wys:
Elke land is ingekleur volgens een hooftaal, wat veeltalige lande vereenvoudig; elke taal in die lys kan afsonderlik nagegaan word.
Die voorbeeldsinne kom uit FLORES-200 (CC BY-SA 4.0) via Petrov e.a.
Deur Sara Moricz.