バイアス分散トレードオフとは?
ばいあすぶんさんとれーどおふ
機械学習モデルの予測誤差を構成するバイアス(偏り)と分散(ばらつき)が、モデルの複雑さに応じてトレードオフの関係にあるという統計学の重要な概念です。
バイアス分散トレードオフ(Bias-Variance Tradeoff)は、予測モデルの汎化誤差(未知データへの誤差)が「バイアスの二乗」「分散」「還元不可能な誤差(ノイズ)」の3つに分解できるという理論的枠組みです。
バイアスとは、モデルが真のパターンを系統的に誤って学習することによる誤差です。モデルが単純すぎる(アンダーフィッティング)と高くなります。一方分散は、訓練データのわずかな変動にモデルの予測が大きく左右されることによる誤差で、モデルが複雑すぎる(オーバーフィッティング)と高くなります。
この2つは一般に次のような関係を示します。
- シンプルなモデル(例: 線形回帰): 高バイアス・低分散
- 複雑なモデル(例: 深い決定木): 低バイアス・高分散
- 最適な複雑さ: 両者の合計が最小になる点
実務では、正則化(ラッソ・リッジ)・アンサンブル学習(バギング・ブースティング)・交差検証によるハイパーパラメータ調整などがトレードオフを制御する手段として用いられます。バギングは分散を下げる効果が高く、ブースティングはバイアスを下げる効果が高いとされています。
モデル選択において「なぜテストデータで精度が出ないのか」を診断する際の基本的な思考枠組みとして、機械学習・統計学の実践で広く参照されます。
使い方・例文
ニューラルネットワークの層数や決定木の深さを変えながらモデルを評価し、訓練誤差と検証誤差の差を観察することでバイアス分散トレードオフの影響を確認する、という分析場面で登場します。
この用語をシェア
最終更新: