強化学習とは?
きょうかがくしゅう
強化学習とは、エージェントが環境と試行錯誤しながら相互作用し、累積報酬を最大化する行動方針(ポリシー)を自律的に学習する機械学習のパラダイムです。
強化学習(Reinforcement Learning、RL)は、教師あり学習・教師なし学習と並ぶ機械学習の三大パラダイムの一つです。正解ラベルを与える代わりに、エージェント(学習主体)が環境の中で行動し、その結果得られる報酬(良い行動には正の報酬、悪い行動には負の報酬)をもとに学習を進めます。
- エージェント:学習・行動を行う主体。
- 環境:エージェントが相互作用する対象。ゲーム・ロボット・シミュレーターなど。
- 状態(State):現在の環境の状況を表す情報。
- 行動(Action):エージェントが選択できる操作。
- 報酬(Reward):行動の結果として環境から得られるスカラー値。
学習の目標は、長期的な累積報酬(リターン)を最大化するポリシー(方策)を見つけることです。代表的なアルゴリズムにはQ学習・SARSA・ポリシー勾配法・Actor-Critic法などがあります。
応用例としては、AlphaGoによる囲碁での人間超えの達成、工場ロボットの動作最適化、自動運転の意思決定、対話AIのHRLF(人間フィードバック強化学習)など多岐にわたります。探索と活用のトレードオフ(exploration-exploitation)をどう扱うかが設計上の核心的な課題です。
使い方・例文
ゲームAIの学習でよく用いられる強化学習では、エージェントが何万回もゲームをプレイし、スコアという報酬信号だけをもとに最善の操作手順を自力で習得していきます。
この用語をシェア
最終更新: