本文へスキップ

モデル量子化とは?

もでるりょうしか

モデルのパラメータを低ビット精度で表現してサイズを削減する技術。

32ビット浮動小数点の重みを8ビットや4ビットの整数に変換することでメモリ使用量と計算量を削減しながら精度をほぼ保ったままモデルを軽量化する手法。

使い方・例文

LLMを4ビット量子化することでスマートフォン上での推論が可能になる。

この用語をシェア

𝕏 でポスト LINE

最終更新:

関連用語