モデル蒸留とは？
もでるじょうりゅう
モデル蒸留とは、大規模な教師モデルの知識を小規模な生徒モデルへ転移させることで、軽量でありながら高い性能を持つAIモデルを作る技術のことです。
モデル蒸留（Knowledge Distillation）は、2015年にGoffrey HintonらがGoogleで提唱した技術で、大きく高精度な「教師モデル（Teacher）」の振る舞いを模倣するよう、小さな「生徒モデル（Student）」を訓練するアプローチです。
通常の学習では正解ラベル（例：「この画像は猫」）だけを用いますが、蒸留では教師モデルが出力する確率分布（ソフトラベル）を使います。たとえば教師モデルが「猫：70%、トラ：20%、犬：10%」という出力をした場合、その分布ごと生徒モデルに学習させます。このソフトラベルには教師モデルが学習した「概念間の類似性」が含まれており、単純な正解ラベルよりも豊富な情報を伝えられます。
蒸留の主な利点は以下のとおりです。
- 推論速度が速くなり、エッジデバイスやモバイル端末への搭載が容易になる
- メモリ消費量・消費電力を大幅に削減できる
- 同サイズのモデルをゼロから訓練するより高い精度が得られることが多い
大規模言語モデル（LLM）の分野でも蒸留は盛んに活用されており、数百億パラメータの大型モデルから数十億規模の小型モデルを作る際に用いられます。オープンソースの小型高性能モデルの多くが、この蒸留技術を活用して開発されています。
使い方・例文
スマートフォン上でオフライン動作するAIアシスタントを作る際に、クラウド上の大規模モデルを蒸留して軽量モデルに落とし込む、という使い方が典型例です。
この用語をシェア
最終更新: