最小記述長の原理とは？
さいしょうきじゅつちょうのげんり
「原理」の用語まとめを見る最小記述長の原理とは、データを最も短く記述できるモデルが最も良い説明を与えるという情報理論・統計学の原理です。
最小記述長の原理（MDL原理、Minimum Description Length principle）とは、与えられたデータを最も簡潔に記述できる仮説やモデルが、そのデータに対する最良の説明であるという考え方です。情報理論の枠組みを統計的モデル選択に応用したもので、主にユルゲン・リサネンが1970〜80年代に体系化しました。
基本的な考え方は、「モデルの複雑さ」と「モデルを使ったデータの記述長」を合計したトータルの記述長を最小化するモデルを選ぶというものです。非常に複雑なモデルはデータを短く記述できますが、モデル自体の記述コストが増えます。反対にシンプルなモデルはモデル記述は短いが、データを正確に表すのにコストがかかります。この二項対立のバランスをとる点が最適なモデルです。
MDL原理は、オッカムの剃刀（不必要に複雑な仮説を避ける）を数学的に定式化したものとも解釈でき、過学習（オーバーフィッティング）を防ぐモデル選択基準として機能します。
応用分野は広く、機械学習・データ圧縮・クラスタリング・自然言語処理など多岐にわたります。AIC（赤池情報量規準）やBIC（ベイズ情報量規準）と理論的に深く関連しており、統計的推論の基礎的な原理の一つとして重要視されています。
使い方・例文
機械学習でモデルの複雑さを決める際、MDL原理に基づいてモデルの記述コストとデータの説明コストの合計が最小になるモデルを選択する手法が使われます。
この用語をシェア
最終更新: