知識蒸留とは？ ちしきじょうりゅう IT・テクノロジー #機械学習 お気に入り お気に入り 読み上げ 停止 大きなモデルの知識を小さなモデルに転移してコンパクトなモデルを作る手法。 大きくて高精度な教師モデルの出力（ソフトラベル）を使って小さな生徒モデルを学習させることで小型モデルの精度を向上させるモデル圧縮手法。 使い方・例文 BERTを知識蒸留したDistilBERTはサイズが40%小さいが精度の97%を保つ。 この用語をシェア 𝕏 でポスト LINE 🔗 リンクをコピー コピーしました その他で共有 最終更新: 2026年6月30日