変分推論とは？
へんぶんすいろん
変分推論とは、ベイズ統計で厳密な事後分布が計算困難な場合に、扱いやすい近似分布を最適化によって求める近似推論の手法です。
変分推論（Variational Inference、VI）は、ベイズ推論における近似推論法のひとつです。ベイズ統計では観測データから事後分布を求めますが、多くの現実的なモデルでは解析的に計算することが困難です。変分推論はこの問題を「最適化問題」として定式化することで実用的な近似解を求めます。
基本的な考え方としては、扱いやすい分布族（例：正規分布族）の中から、真の事後分布にできるだけ近いものを探します。「近さ」の測定にはKLダイバージェンス（カルバック・ライブラー情報量）がよく使われ、これを最小化することがELBO（証拠下界）の最大化と等価になります。
マルコフ連鎖モンテカルロ法（MCMC）との比較として、MCMCは漸近的に正確な標本を得られますが計算コストが高く収束に時間がかかります。変分推論は近似ではあるものの大規模データでも高速に動作するため、大規模機械学習モデルへの応用に適しています。
主な応用例は以下のとおりです。
- 変分オートエンコーダ（VAE）：深層学習による生成モデル
- トピックモデル（LDA）の学習
- ベイズニューラルネットワークの近似学習
- 確率的グラフィカルモデルの推論
使い方・例文
大量のテキストデータからトピックを自動抽出するLDA（潜在的ディリクレ配分法）の学習において、変分推論が計算効率の高い近似推論手法として標準的に使われています。
この用語をシェア
最終更新: