トークン（AI）とは？
とーくん
トークン（AI）とは、AIの言語モデルがテキストを処理する際の最小単位で、単語・文字・部分文字列などに相当します。
トークン（Token）とは、大規模言語モデル（LLM）がテキストを処理する際に使用する基本的な単位です。モデルは入力された文字列をそのまま扱うのではなく、まず「トークン化（Tokenization）」と呼ばれる処理でテキストをトークンの列に分割し、各トークンに対応する数値ID（ベクトル）に変換してから処理を行います。
トークンと単語・文字の関係は一対一ではありません。英語では1単語が1トークンになる場合が多いですが、頻度の低い単語は複数のトークンに分割されることがあります。日本語の場合、ひらがな・漢字などの文字体系の違いから、1文字〜数文字が1トークンになることが多く、英語より多くのトークン数を消費する傾向があります。
AIにおけるトークンの重要性は以下の点にあります。
- 課金単位：多くのAPI利用では「入力トークン数＋出力トークン数」が料金計算の基準となる
- コンテキストウィンドウの制約：モデルが扱える上限はトークン数で決まる
- 生成速度：モデルは1トークンずつ順に生成するため、出力トークン数が多いほど時間がかかる
- プロンプト設計：不要に長いプロンプトはトークン消費を増やし、コスト・速度に影響する
代表的なトークナイザーにはOpenAIのtiktoken（BPEベース）やSentencePieceなどがあり、モデルごとにトークン化の方法が異なります。
使い方・例文
「この文章は約500トークンあるため、API利用料がおおよそ0.002ドルになる」というように、AI APIの料金計算や処理容量を見積もる場面でよく登場します。
この用語をシェア
最終更新: