한국어는 영어보다 토큰이 얼마나 더 필요할까?

ChatGPT / Copilot에서 같은 텍스트에 한국어는 영어보다 토큰이 47 % 더 필요합니다. 그래서 사용 한도가 약 47 % 빨리 바닥나고, 채팅 기억도 그만큼 빨리 차며, 답변도 그만큼 오래 걸립니다. 한국어는 203개 언어 중 170위이며, 1위가 가장 비쌉니다. 현재 6개 AI 토크나이저에서 토큰세는 22 %(Qwen)부터 64 %(DeepSeek)까지입니다.

모델토크나이저토큰세
ChatGPT / Copiloto200k_base47 %
GeminiGemini 3.x (unpublished; = Gemma 4 on text)36 %
ClaudeClaude (unpublished)61 %
Meta AI / LlamaLlama 427 %
DeepSeekDeepSeek V364 %
QwenQwen 3.5 (248k)22 %

토큰세란?

토큰세는 같은 텍스트에 대해 어떤 언어의 토큰 수 ÷ 영어의 토큰 수를 토크나이저별로 구한 값입니다. Petrov 외(2023)가 언어 간 토큰화를 쉽게 비교하려고 이 개념을 도입했지만, 이를 토큰화 프리미엄이라고 부릅니다. 아직 정해진 한국어 용어는 없습니다. 'AI 세금'이라고도 하며, 영어로는 token tax라고 합니다.

토크나이저는 어휘를 주로 영어 텍스트에서 배우기 때문에, 흔한 영어 단어는 토큰 하나에 들어가지만 한국어 텍스트는 더 많고 짧은 조각으로 잘립니다. 학습 텍스트가 적고 라틴 문자가 아닌 문자를 쓰는 언어가 대개 가장 많이 냅니다.

Petrov 외는 문제를 이렇게 요약합니다: “The same text translated into different languages can have drastically different tokenization lengths” (NeurIPS 2023).

어떻게 측정했을까?

각 토크나이저로 FLORES-200 devtest의 같은 1,012개 문장을 한국어와 영어로 토큰을 셌습니다. 방법은 Petrov 외(NeurIPS 2023)를 따랐습니다. 측정일 2026-10-26.

토큰이란?

AI 모델은 텍스트를 토큰으로 읽습니다. 모델이 텍스트를 보기 전에 토크나이저가 텍스트를 조각으로 자릅니다. 요금은 토큰 단위로 내고, 채팅 기억도 토큰으로 세며, 답변은 토큰 하나씩 쓰입니다. ChatGPT / Copilot이 2026년 10월의 과학 뉴스 제목을 한국어와 영어로 자르는 모습입니다:

바이올린 수업 한 번이 초보자가 연주를 배우는 동안 뇌파 패턴을 바꾼다

바 | 이 | 올 | 린 | 수 | 업 | 한 | 번 | 이 | 초 | 보 | 자가 | 연 | 주 | 를 | 배우 | 는 | 동안 | � | 뇌 | 파 | 패 | 턴 | 을 | 바 | � | � | 꾼 | 다 = 토큰 29개

One violin lesson changes brain wave patterns as beginners learn to play

One | violin | lesson | changes | brain | wave | patterns | as | beginners | learn | to | play = 토큰 12개

이 문장 하나만 보면 비율은 29 ÷ 12 = 2.42, 즉 영어보다 토큰이 142 % 더 많습니다. 문장 하나는 믿을 만한 수치를 내기에는 너무 적은 텍스트라서, 이 페이지의 수치는 FLORES-200 문장 1,012개로 측정했습니다.

한국어는 다른 언어와 비교하면 어떨까?

한국어는 ChatGPT / Copilot에서 47 %를 내며, 전체 203개 언어의 중앙값은 75 %입니다.

토큰세를 줄이려면?

편하다면 영어로 채팅하는 것이 가장 간단합니다. 다른 방법은 권하기 어렵습니다. 모델마다 토큰세뿐 아니라 토큰당 얻는 답변의 질도 다르기 때문입니다.

토큰세에 관한 질문

모든 언어가 토큰세를 낼까?

거의 모든 언어가 냅니다. ChatGPT / Copilot에서 203개 언어 모두 영어보다 토큰이 더 필요하며, 23 %(Portuguese)부터 1 273 %(Santali)까지이고 중앙값 언어는 75 %를 냅니다. 이 페이지의 6개 모델 전체에서 예외는 Chinese (Simplified): DeepSeek −6 %, Qwen −9 %; Yue Chinese: Qwen −3 %뿐입니다.

중국어는 왜 중국 모델에서 덜 낼까?

간체 중국어는 ChatGPT / Copilot에서 25 %를 내지만, Qwen에서는 −9 %, DeepSeek에서는 −6 %입니다. Alibaba(Qwen)와 DeepSeek는 훨씬 많은 중국어 텍스트로 토크나이저를 만들었기 때문에 흔한 중국어 단어가 자기 토큰을 갖습니다. 토크나이저는 그것이 만들어진 언어에 가장 저렴합니다.

가장 큰 언어들의 토큰세는?

가장 많이 쓰이는 언어와 한국어, 6개 모델 전체:

ChatGPT / CopilotGeminiClaudeMeta AI / LlamaDeepSeekQwen
Chinese (Simplified)25 %8 %14 %6 %−6 %−9 %
Spanish32 %29 %45 %30 %50 %31 %
Hindi57 %30 %116 %65 %180 %98 %
Standard Arabic38 %45 %81 %59 %62 %30 %
Portuguese23 %25 %37 %23 %42 %23 %
Russian42 %35 %32 %23 %58 %35 %
Japanese66 %21 %26 %31 %42 %16 %
French37 %40 %48 %37 %55 %38 %
German31 %32 %72 %30 %51 %30 %
Korean47 %36 %61 %27 %64 %22 %

토큰세가 가장 낮은 AI 모델은?

중앙값 언어 기준: ChatGPT / Copilot 75 %, Gemini 81 %, Claude 84 %, Meta AI / Llama 86 %, Qwen 90 % 및 DeepSeek 107 %.

가장 적게 내는 언어는?

영어입니다. 토큰세의 기준이 되는 언어이기 때문입니다(0 %). 중국 모델의 중국어만 그보다 더 적게 냅니다(위 참고). 영어 다음으로 ChatGPT / Copilot에서 가장 저렴한 다섯 언어는 Portuguese 23 %, Dutch 25 %, Chinese (Simplified) 25 %, Indonesian 25 % 및 Standard Malay 30 %입니다.

가장 많이 내는 언어는?

모국어 화자 수는 위키백과에서 가져왔습니다(인구조사와 Ethnologue). ChatGPT / Copilot에서 203개 언어 중 가장 비싼 10개, 토큰세와 모국어 화자 수:

  1. Santali 1 273 %: 모국어 화자 약 7,600,000명, 주로 India, Bangladesh, Nepal; 문자: Ol Chiki.
  2. Tamasheq 921 %: 모국어 화자 약 900,000명, 주로 Mali, Burkina Faso; 문자: Tifinagh. 불확실한 수치입니다.
  3. Central Atlas Tamazight 915 %: 모국어 화자 약 2,700,000명, 주로 Morocco; 문자: Tifinagh. 불확실한 수치입니다.
  4. Dzongkha 803 %: 모국어 화자 약 171,000명, 주로 Bhutan; 문자: Tibetan. 불확실한 수치입니다.
  5. Lao 723 %: 모국어 화자 약 3,700,000명, 주로 Laos; 문자: Lao.
  6. Standard Tibetan 713 %: 모국어 화자 약 1,200,000명, 주로 China (Tibet), India, Nepal; 문자: Tibetan. 불확실한 수치입니다.
  7. Shan 693 %: 모국어 화자 약 4,700,000명, 주로 Myanmar, Thailand; 문자: Myanmar (Shan). 불확실한 수치입니다.
  8. Tigrinya 500 %: 모국어 화자 약 9,900,000명, 주로 Eritrea, Ethiopia; 문자: Ge'ez.
  9. Amharic 482 %: 모국어 화자 약 31,800,000명, 주로 Ethiopia; 문자: Ge'ez.
  10. Odia 399 %: 모국어 화자 약 34,000,000명, 주로 India (Odisha); 문자: Odia.

다른 문자를 쓰는 언어가 더 많이 낼까?

평균적으로는 아닙니다. ChatGPT / Copilot에서 라틴 문자를 쓰는 중앙값 언어는 72 %, 다른 문자를 쓰는 중앙값 언어는 79 %를 냅니다. 하지만 가장 비싼 언어들은 모두 고유한 문자를 씁니다. 예: Santali (Ol Chiki), Tamasheq (Tifinagh), Dzongkha (Tibetan), Lao 및 Shan (Myanmar).

내 텍스트의 토큰세는 어떻게 잴까?

쓰는 모델의 토크나이저로 내 텍스트와 그 영어 번역의 토큰 수를 센 다음, 앞의 수를 뒤의 수로 나누세요. OpenAI의 토크나이저는 공개되어 있고, Anthropic과 Google은 API로 토큰을 셉니다. 문장 하나로는 대략적인 수치만 나오며, 텍스트가 많을수록 더 믿을 만합니다.

글쓴이: Sara Moricz, 연구 데이터 과학자. 업데이트 2026-10-26.

In English

Korean needs 47 % more tokens than English for the same text on ChatGPT / Copilot. So your quota runs out about 47 % faster, chat memory fills up just as much faster, and answers take just as much longer. Korean ranks 170 of 203 languages, where 1 is the most expensive. Across 6 current AI tokenizers, the token tax ranges from 22 % (Qwen) to 64 % (DeepSeek). Measured on 1,012 FLORES-200 sentences.