最大エントロピーの原理とは？
さいだいえんとろぴーのげんり
「原理」の用語まとめを見る最大エントロピーの原理とは、与えられた制約条件のもとで最も不確かさが大きい（エントロピーが最大の）確率分布を選ぶことが合理的であるという統計推論の指針です。
最大エントロピーの原理（maximum entropy principle）は、E・T・ジェインズが情報理論と統計力学を結びつける形で提唱した推論の原理です。既知の情報（制約）だけを反映し、それ以上の仮定を一切加えないために、エントロピーが最大となる確率分布を採用するという考え方です。
情報理論的なエントロピーは確率分布の「不確かさ」や「情報の欠如」を定量化したもので、シャノンエントロピーとも呼ばれます。あるデータの平均値のみが既知であれば、最大エントロピー分布は指数分布になります。平均と分散のみが既知であれば正規分布が最大エントロピー分布として導かれます。
この原理の主な応用領域は次のとおりです。
- 統計力学：熱平衡における粒子の分布関数の導出
- 機械学習：最大エントロピーモデル（対数線形モデル）によるテキスト分類
- 自然言語処理：品詞タグ付けや確率的文法モデル
- 画像復元・スペクトル解析における正則化
最大エントロピーの原理は、知識の範囲を正直に反映した「最も保守的な」推論を保証するため、過学習を避ける手段としても評価されています。
使い方・例文
自然言語処理で「単語の出現確率を既知の素性から推定する」際に、最大エントロピーモデルとして実装されます。機械学習の分類器や統計力学の分配関数の導出にも登場します。
この用語をシェア
最終更新: