勾配降下法とは？
こうばいこうかほう
勾配降下法とは、機械学習や数値最適化において、損失関数の勾配（傾き）を利用してパラメータを反復的に更新し、誤差が最小となる解を探す最適化アルゴリズムのことです。
勾配降下法（こうばいこうかほう、Gradient Descent）は、機械学習・深層学習（ディープラーニング）においてモデルのパラメータ（重み）を最適化するために広く使われるアルゴリズムです。「損失関数（誤差を測る関数）の値を最小化したい」という最適化問題を、山を下るようにパラメータを少しずつ動かしていくことで解く手法です。
基本的な仕組みは次の通りです。
- 現在のパラメータで損失関数を計算する
- 各パラメータについて損失関数の偏微分（勾配）を求める
- パラメータを勾配の逆方向（下り坂方向）に学習率（ステップサイズ）分だけ更新する
- 損失が十分小さくなるまで1〜3を繰り返す
勾配降下法には主に3種類のバリエーションがあります。
- バッチ勾配降下法：全訓練データを使って勾配を計算する。精度が高いが大規模データでは遅い。
- 確率的勾配降下法（SGD）：1件ずつランダムにデータを選んで更新する。高速だが更新が不安定。
- ミニバッチ勾配降下法：少数のデータをまとめて計算する折衷案。現代の深層学習で最も広く使われる。
さらに、AdamやRMSpropなど学習率を自動調整する発展的な最適化手法も多数提案されており、勾配降下法の考え方を基盤としています。AIモデルの学習の根幹を支える技術であり、現代の人工知能開発には欠かせないアルゴリズムです。
使い方・例文
「勾配降下法」は機械学習の解説記事や講座で「ニューラルネットワークの学習には勾配降下法が使われており、誤差逆伝播法と組み合わせてパラメータを最適化する」のような形で頻繁に登場します。
この用語をシェア
最終更新: