勾配ブースティングとは？
こうばいぶーすてぃんぐ
勾配ブースティングとは、弱い予測器（主に決定木）を損失関数の勾配に沿って逐次的に加算していくアンサンブル学習手法で、高精度な予測で知られます。
勾配ブースティング（Gradient Boosting）とは、弱学習器（多くの場合は浅い決定木）を順番に積み重ねることで予測精度を向上させるアンサンブル手法です。各ステップで前のモデルが残した残差（損失関数の勾配）を次の弱学習器が学習するという考え方に基づきます。
Friedman（2001）が提案した一般的な枠組みでは、損失関数は回帰・分類・ランキングなど目的に応じて自由に設定できます。これが「勾配」の名の由来です。
代表的な実装には以下のものがあります。
- XGBoost：正則化を強化し速度を改善、Kaggleコンペで多数の優勝実績
- LightGBM：ヒストグラムベースの分割で大規模データに高速対応
- CatBoost：カテゴリ変数を効率的に扱える設計
勾配ブースティングは表形式データにおいて非常に高い精度を発揮する一方、ハイパーパラメータ（木の深さ・学習率・木の数など）のチューニングが重要です。学習率が大きすぎると過学習しやすく、早期停止（early stopping）が一般的に用いられます。信用スコアリング・医療・広告クリック率予測など、精度が重視される実務で広く使われています。
使い方・例文
「LightGBMを使った勾配ブースティングで顧客の離反予測モデルを構築した」「XGBoostによる勾配ブースティングでKaggleコンペの上位入賞を果たした」のように使われます。
この用語をシェア
最終更新: