トークン（AI）とは？ とーくん IT・テクノロジー #AI・LLM お気に入り お気に入り 読み上げ 停止 AIが文章を処理する最小単位。 大規模言語モデルが文章を処理する際に分割する単位で、英語では概ね単語、日本語では数文字程度がひとつのトークンになる。 使い方・例文 GPT-4はプロンプトと返答を合計してコンテキストウィンドウのトークン上限内で処理する。 この用語をシェア 𝕏 でポスト LINE 🔗 リンクをコピー コピーしました その他で共有 最終更新: 2026年6月25日