0 % = αγγλικά · σύρετε για να περιστρέψετε την υδρόγειο · κάντε κλικ σε μια χώρα
Πόσα περισσότερα tokens χρειάζεται μια γλώσσα σε σχέση με τα αγγλικά για το ίδιο κείμενο. Περισσότερα tokens σημαίνουν ότι το όριό σας εξαντλείται γρηγορότερα, η συνομιλία θυμάται λιγότερα και οι απαντήσεις αργούν περισσότερο. Μετρήθηκε στις ίδιες 1.012 προτάσεις μεταφρασμένες σε 204 γλώσσες (FLORES-200).
Τα μοντέλα ΤΝ διαβάζουν το κείμενο ως tokens. Πριν ένα μοντέλο δει το κείμενό σας, ο tokenizer του το κόβει σε κομμάτια. Πληρώνετε ανά token, η μνήμη της συνομιλίας μετριέται σε tokens και οι απαντήσεις γράφονται ένα token τη φορά. Η ίδια πρόταση στο ChatGPT / Copilot:
Ο φόρος των tokens είναι τα tokens μιας γλώσσας ÷ τα tokens των αγγλικών για το ίδιο κείμενο, ανά tokenizer. Οι Petrov κ.ά. (2023) εισήγαγαν την έννοια για να συγκρίνεται ευκολότερα η τμηματοποίηση μεταξύ γλωσσών, αλλά την ονομάζουν πριμ τμηματοποίησης.
Ο φόρος των tokens υπολογίζεται στο σύνολο δεδομένων FLORES-200, που περιέχει τις ίδιες 1.012 προτάσεις μεταφρασμένες σε 204 γλώσσες. Ο ιστότοπος χρησιμοποιεί ακριβώς τα ίδια δεδομένα με τους Petrov κ.ά. (commit 365c3f8, 28 Νοε 2023). Οποιοσδήποτε μπορεί να αναπαράγει τους αριθμούς από αυτό το αποθετήριο. Ο φόρος για περισσότερους tokenizers βρίσκεται στο αρχείο data.csv. Αυτά είναι ακριβώς τα μοντέλα για τα οποία δείχνουμε αριθμούς:
Κάθε χώρα χρωματίζεται με βάση μία κύρια γλώσσα, κάτι που απλοποιεί τις πολύγλωσσες χώρες· κάθε γλώσσα της λίστας μπορεί να ελεγχθεί χωριστά.
Οι προτάσεις-παραδείγματα προέρχονται από το FLORES-200 (CC BY-SA 4.0) μέσω των Petrov κ.ά.
Από τη Sara Moricz.