0 % = ಇಂಗ್ಲಿಷ್ · ಗ್ಲೋಬ್ ತಿರುಗಿಸಲು ಎಳೆಯಿರಿ · ಒಂದು ದೇಶದ ಮೇಲೆ ಕ್ಲಿಕ್ ಮಾಡಿ
ಒಂದೇ ಪಠ್ಯಕ್ಕೆ ಒಂದು ಭಾಷೆಗೆ ಇಂಗ್ಲಿಷ್‌ಗಿಂತ ಎಷ್ಟು ಹೆಚ್ಚು ಟೋಕನ್‌ಗಳು ಬೇಕು. ಹೆಚ್ಚು ಟೋಕನ್‌ಗಳು ಎಂದರೆ ನಿಮ್ಮ ಕೋಟಾ ಬೇಗ ಮುಗಿಯುತ್ತದೆ, ಚಾಟ್ ಕಡಿಮೆ ನೆನಪಿಡುತ್ತದೆ ಮತ್ತು ಉತ್ತರಗಳಿಗೆ ಹೆಚ್ಚು ಸಮಯ ಹಿಡಿಯುತ್ತದೆ. 204 ಭಾಷೆಗಳಿಗೆ ಅನುವಾದಿಸಿದ ಅದೇ 1,012 ವಾಕ್ಯಗಳ ಮೇಲೆ ಅಳೆಯಲಾಗಿದೆ (FLORES-200).
ಎಐ ಮಾದರಿಗಳು ಪಠ್ಯವನ್ನು ಟೋಕನ್‌ಗಳಾಗಿ ಓದುತ್ತವೆ. ಮಾದರಿ ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ನೋಡುವ ಮೊದಲು, ಅದರ ಟೋಕನೈಸರ್ ಅದನ್ನು ತುಂಡುಗಳಾಗಿ ಕತ್ತರಿಸುತ್ತದೆ. ನೀವು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಪಾವತಿಸುತ್ತೀರಿ, ಚಾಟ್‌ನ ಸ್ಮರಣೆಯನ್ನು ಟೋಕನ್‌ಗಳಲ್ಲಿ ಎಣಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಉತ್ತರಗಳನ್ನು ಒಂದೊಂದೇ ಟೋಕನ್ ಆಗಿ ಬರೆಯಲಾಗುತ್ತದೆ. ಅದೇ ವಾಕ್ಯ ChatGPT / Copilot ನಲ್ಲಿ:
ಟೋಕನ್ ತೆರಿಗೆ ಎಂದರೆ ಒಂದು ಭಾಷೆಯ ಟೋಕನ್‌ಗಳು ÷ ಅದೇ ಪಠ್ಯಕ್ಕೆ ಇಂಗ್ಲಿಷ್ ಟೋಕನ್‌ಗಳು, ಪ್ರತಿ ಟೋಕನೈಸರ್‌ಗೆ ಪ್ರತ್ಯೇಕವಾಗಿ. ಭಾಷೆಗಳ ನಡುವೆ ಟೋಕನೀಕರಣವನ್ನು ಸುಲಭವಾಗಿ ಹೋಲಿಸಲು Petrov ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು (2023) ಈ ಪರಿಕಲ್ಪನೆಯನ್ನು ಪರಿಚಯಿಸಿದರು, ಆದರೆ ಅದನ್ನು ಟೋಕನೀಕರಣ ಪ್ರೀಮಿಯಂ ಎನ್ನುತ್ತಾರೆ.
ಟೋಕನ್ ತೆರಿಗೆಯನ್ನು FLORES-200 ದತ್ತಾಂಶದ ಮೇಲೆ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ; ಅದರಲ್ಲಿ ಅದೇ 1,012 ವಾಕ್ಯಗಳು 204 ಭಾಷೆಗಳಿಗೆ ಅನುವಾದಗೊಂಡಿವೆ. ಈ ತಾಣವು Petrov ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು ಬಳಸಿದ ಅದೇ ದತ್ತಾಂಶವನ್ನು ನಿಖರವಾಗಿ ಬಳಸುತ್ತದೆ (commit 365c3f8, 28 ನವೆಂಬರ್ 2023). ಯಾರಾದರೂ ಈ ರೆಪೊಸಿಟರಿಯಿಂದ ಸಂಖ್ಯೆಗಳನ್ನು ಮರುಸೃಷ್ಟಿಸಬಹುದು. ಇನ್ನಷ್ಟು ಟೋಕನೈಸರ್‌ಗಳ ಟೋಕನ್ ತೆರಿಗೆ data.csv ಕಡತದಲ್ಲಿದೆ. ನಾವು ಸಂಖ್ಯೆಗಳನ್ನು ತೋರಿಸುವ ಮಾದರಿಗಳು ನಿಖರವಾಗಿ ಇವು:
ಪ್ರತಿ ದೇಶಕ್ಕೆ ಒಂದು ಮುಖ್ಯ ಭಾಷೆಯ ಪ್ರಕಾರ ಬಣ್ಣ ಹಚ್ಚಲಾಗಿದೆ, ಇದು ಬಹುಭಾಷಾ ದೇಶಗಳನ್ನು ಸರಳಗೊಳಿಸುತ್ತದೆ; ಪಟ್ಟಿಯ ಪ್ರತಿಯೊಂದು ಭಾಷೆಯನ್ನೂ ಪ್ರತ್ಯೇಕವಾಗಿ ನೋಡಬಹುದು.
ಉದಾಹರಣೆ ವಾಕ್ಯಗಳು FLORES-200 ನಿಂದ (CC BY-SA 4.0), Petrov ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳ ಮೂಲಕ.
ಲೇಖಕಿ: Sara Moricz.