深層Q学習とは？
しんそうきゅーがくしゅう
深層Q学習（DQN）とは、Q学習のQ値関数をディープニューラルネットワークで近似することで、高次元の状態空間（画像入力など）でも強化学習を可能にした手法です。
深層Q学習（Deep Q-Network、DQN）は、2013〜2015年にDeepMindが開発し、Atariゲームで人間を超えるスコアを達成したことで注目を集めた強化学習アルゴリズムです。従来のQ学習はQテーブルで全状態・行動ペアのQ値を管理するため、状態空間が大きくなると記憶量が爆発的に増大するという問題がありました。DQNはこの問題をディープニューラルネットワークでQ値を近似することで解決しました。
DQNが導入した主要な技術的工夫は二つです。
- 経験再生（Experience Replay）：エージェントの経験（状態・行動・報酬・次状態のタプル）をメモリに蓄積し、ランダムにサンプリングして学習に使います。時系列の相関を断ち切り、学習を安定させます。
- ターゲットネットワーク：Q値の目標値計算に使うネットワークを別途用意し、一定ステップごとに更新します。ネットワークの自己参照による不安定性を防ぎます。
DQNはゲーム画面（ピクセル）をそのまま入力として使い、畳み込みニューラルネットワーク（CNN）で特徴抽出を行います。その後、Double DQN・Dueling DQN・Prioritized Experience Replayなど多くの改良版が提案され、性能がさらに向上しました。ロボット制御・自動運転・工場最適化など実世界への応用も進んでいます。
使い方・例文
DeepMindがDQNをAtariの「ブレイクアウト」に適用したところ、ゲームの映像だけを入力として自律学習し、壁を崩して裏に回り込む上級テクニックをAIが自力で発見したことが大きな話題となりました。
この用語をシェア
最終更新: