多腕バンディット問題とは？
たうでばんでぃっともんだい
多腕バンディット問題とは、限られた試行回数の中で最大の報酬を得るためにどの選択肢を選ぶかを最適化する確率論的問題です。
多腕バンディット問題（Multi-Armed Bandit Problem）とは、それぞれ異なる当たり確率を持つ複数のスロットマシン（バンディット）の中から、限られた試行回数内で累積報酬を最大化するにはどの順番でどれを引くべきか、という意思決定の最適化問題です。「バンディット」はスロットマシンの俗称で、「腕（アーム）」とはレバーを指します。
この問題の核心は「探索と活用のトレードオフ」にあります。まだ試していない選択肢を試して情報を集める「探索」と、現時点で最善と思われる選択肢を繰り返す「活用」をどう組み合わせるかが鍵です。代表的な解法には以下があります。
- ε-greedy法：一定確率εでランダム探索、それ以外で最良を選ぶ
- UCB（上側信頼限界）法：不確実性が高い選択肢を積極的に試す
- トンプソンサンプリング：事後分布からサンプリングして選択する
Webサービスにおけるボタンの色やキャッチコピーのA/Bテスト最適化、広告配信、医薬品の臨床試験設計など、実世界の意思決定問題に広く応用されています。機械学習の強化学習とも密接に関連する重要な理論的フレームワークです。
使い方・例文
EC サイトで複数のバナーデザインを少しずつ試しながら、クリック率の高いものに表示を集中させていく最適化処理が、多腕バンディット問題の典型的な活用例です。
この用語をシェア
最終更新: