量子化（AI）とは？
りょうしか
AI文脈における量子化とは、ニューラルネットワークのパラメータを低ビット数の数値形式に変換することで、モデルのサイズと計算コストを削減する技術です。
量子化（Quantization）とは、AIや機械学習の文脈では、ニューラルネットワークの重みや活性化値を高精度の浮動小数点数（float32など）からより少ないビット数の数値形式（int8、int4など）に変換することで、モデルを軽量化・高速化する技術です。
大規模言語モデル（LLM）はパラメータ数が数十億〜数千億に達するため、そのままでは推論時に大量のメモリと計算リソースを必要とします。量子化によってメモリ使用量を数分の一に削減でき、一般的なコンシューマーGPUや場合によってはCPUだけでも動作可能になります。
代表的な量子化の手法には次のものがあります。
- PTQ（訓練後量子化）：訓練済みモデルをそのまま低ビットに変換する方法で手軽
- QAT（量子化対応訓練）：量子化を考慮しながら訓練し精度低下を抑える
- GPTQ・AWQ・GGUF：LLM向けの代表的な量子化フォーマット・アルゴリズム
精度と効率のトレードオフが生じるため、ビット数が低いほどモデルのサイズは小さくなる一方で出力品質がわずかに低下する可能性があります。ローカルでのLLM実行（Ollama、llama.cppなど）では量子化モデルが標準的に使われており、エッジデバイスへのAI展開における重要技術です。
使い方・例文
「LLaMAなどの大規模言語モデルを個人のPCで動かす際、量子化（4bit/8bitなど）されたモデルを使うことでメモリ不足を避けながら推論できます。」
この用語をシェア
最終更新: