データドリフトとは？
でーたどりふと
データドリフトとは、機械学習モデルの運用中に入力データの統計的分布が訓練時と変化し、モデルの精度が低下する現象です。
データドリフト（Data Drift）とは、本番環境で機械学習モデルに入力されるデータの統計的性質（分布、平均値、相関など）が、モデルの学習時に使ったデータと乖離していく現象を指します。データドリフトが発生すると、モデルは訓練時には想定していなかったパターンを扱うことになり、予測精度が徐々に、あるいは急激に低下します。
データドリフトはいくつかの種類に分類されます。
- 共変量シフト（Covariate Shift）：入力特徴量の分布が変化するが、出力との関係性は維持される
- ラベルシフト（Label Shift）：出力ラベルの分布が変化する
- コンセプトドリフト：入力と出力の関係自体が変化する（最も対処が難しい）
データドリフトが起きる原因はさまざまです。例えばECサイトの購買モデルでは季節変動やトレンドの変化、金融分野では経済状況の変化、医療分野では診断基準の改定などが挙げられます。特に新型コロナウイルス流行のような急激な社会変化では、多くのモデルがコンセプトドリフトにより性能を大幅に落としたことが報告されています。
対策としては、入力データの分布を定期的にモニタリングする、ドリフト検出アルゴリズム（KSテスト、PSIなど）を導入する、定期的なモデルの再訓練・更新パイプラインを整備するなどが有効です。MLOpsの重要な管理項目の一つです。
使い方・例文
コロナ禍で消費者行動が急変した際、旧来の購買データで訓練されたECサイトのレコメンドエンジンが的外れな提案をし続けるといった状況が、データドリフトの典型例です。
この用語をシェア
最終更新: