AIToday
用語解説

トークンとは?AIの料金や「上限に達しました」を決めている文字の単位

著者:(AITODAY プロダクトオーナー)

公開日:最終更新日:

トークンとは?AIの料金や「上限に達しました」を決めている文字の単位

この記事でわかること

  • トークンは、AIが文章を読み書きするときの「ひとかたまり」の単位
  • AIの料金、1回に読める量、利用上限は、どれもトークンの数で決まっている
  • 日本語は英語より同じ内容でもトークンが多くなりやすい

AIの料金表や利用上限に出てくる「トークン」の意味を、専門用語なしで解説。日本語だと何文字くらいか、料金の読み方、節約のコツ。

一言でいうと、トークンは「AIにとっての文字数」です。AIは文章を文字や単語ではなく、トークンという小さなかたまりに分けて読み書きしています。料金も上限も、このトークンの数で数えます。

トークンとは

AIは、文章をそのままではなく、細かく区切ってから読んでいます。この区切られた1つ1つをトークンと呼びます。

英語なら、よく使う単語は1語で1トークン、長い単語は2〜3トークンに分かれます。OpenAI の説明では、英語はおよそ4文字で1トークンが目安です。

日本語だと何文字くらい?

日本語は、1文字で1トークン前後になることが多く、英語より同じ内容でトークンが多くなりやすいです。ただ、区切り方はAIの会社やモデルごとに違い、新しいモデルほど日本語を効率よく区切れるようになっています。

正確な数を知りたいときは、各社が公開しているトークン数を数えるツールに文章を貼ると確かめられます。

何に関係するのか

関係するものどう関係するか
APIの料金「100万トークンあたり◯ドル」のように、使ったトークン数で払う
1回に読める量AIが一度に覚えておける量の上限も、トークンで決まっている(コンテキストウィンドウ)
アプリの利用上限ChatGPT や Claude の「上限に達しました」も、裏では使ったトークンの量で決まっていることが多い
返ってくる速さ長い答えほどトークンが多く、出てくるまで時間がかかる

料金表の読み方

APIの料金表には、だいたい2つの値段が並んでいます。

  • 入力:AIに渡す文章(質問、資料、それまでの会話)
  • 出力:AIが書く答え

出力の方が入力より高いのが一般的です。また、推論モデルのように答える前に「考える」AIは、考えた分も出力として数えられることが多く、思ったより料金がかかることがあります。

節約のコツ

  • 話題が変わったら新しいチャットにする。前の会話を毎回読み直す分が減ります
  • 資料は必要な部分だけ渡す。100ページのPDFより、関係する3ページの方が安く、答えも正確になりやすいです
  • 答えの長さを指定する。「3行で」「箇条書き5つまで」と頼むと、出力が減ります
  • 軽い作業には小さいモデルを使う。要約や分類は、小さくて安いモデルで十分なことが多いです

よくある勘違い

  • 「1トークン=1文字」:だいたいの目安にすぎません。言語やモデルによって変わります。
  • 「月額プランならトークンは関係ない」:関係あります。料金は定額でも、使える量の上限はトークンで決まっていることが多いです。

まとめ

トークンは、AIが文章を読み書きするときの単位で、料金、1回に読める量、利用上限のすべてに関わっています。長い会話や大きな資料ほどトークンを使うので、話題ごとにチャットを分け、必要な部分だけ渡すのが一番の節約です。

次に読む

よくある質問

Q. 自分が使ったトークン数はどこで見られますか?
A. API を使っている場合は、各社の管理画面で確認できます。ChatGPT や Claude のアプリでは、正確なトークン数は表示されないことが多く、「残りの利用量」のような形で出ます。
Q. 画像やPDFもトークンになりますか?
A. なります。画像は大きさなどに応じてトークンに換算され、PDFは文字と画像の両方として数えられることがあります。数え方は各社で違います。

出典:OpenAI Help Center「What are tokens and how to count them?」

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

関連記事