ドロップアウトとは？
どろっぷあうと
ドロップアウトとは、ニューラルネットワークの過学習を防ぐために学習中にランダムでノードを無効化する正則化手法です。
ドロップアウト（Dropout）は、深層学習モデルの訓練時にネットワークの一部のニューロン（ノード）をランダムに無効化することで、過学習（overfitting）を抑制する正則化手法です。2014年にジェフリー・ヒントンらによって提案されました。
仕組みとしては、学習の各ステップで設定した確率（一般的に0.2〜0.5）に従い、ランダムに選んだニューロンの出力をゼロにして伝播させないようにします。これにより、特定のニューロンの組み合わせへの依存が生まれにくくなり、モデルがより汎用的な特徴を学習するよう促されます。推論（テスト）時はすべてのニューロンを使用し、出力値に確率分布を調整するスケーリングを施します。
ドロップアウトが有効な理由は以下のように整理できます。
- 特定ニューロンへの過度な依存を防ぐ
- 毎回異なる部分ネットワークを訓練することで、暗黙的なアンサンブル効果が得られる
- ニューロン間の共適応（co-adaptation）を抑制する
- 少ないデータでも汎化性能を高めやすい
現在は全結合層だけでなく、畳み込みニューラルネットワークや自然言語処理モデルでも広く使われており、過学習対策の基本手法として定着しています。
使い方・例文
画像認識モデルを訓練する際、全結合層にドロップアウト率0.5を設定することで、学習データへの過学習を抑えてテスト精度が向上するケースがよく見られます。
この用語をシェア
最終更新: