Q学習とは？
きゅーがくしゅう
Q学習とは、各状態で各行動を取ったときに得られる長期報酬の期待値（Q値）を繰り返し更新することで、最適な行動方針を学習する強化学習の代表的なアルゴリズムです。
Q学習（Q-Learning）は、1989年にChris Watkinsが提案したモデルフリー・オフポリシーの強化学習アルゴリズムです。「Q」は「Quality（品質）」を意味し、Q(s, a)はある状態sで行動aを取ったときの長期累積報酬の期待値（行動価値）を表します。
Q学習の更新式はベルマン方程式に基づきます。エージェントが状態sで行動aを取り、報酬rを得て次の状態s'に遷移したとき、Q値を次式で更新します。
Q(s, a) ← Q(s, a) + α × [r + γ × max Q(s', a') − Q(s, a)]
ここでαは学習率、γは割引率（将来報酬の重み）です。この更新を繰り返すことで、理論的には最適なQ値に収束することが証明されています（環境がマルコフ決定過程を満たす場合）。
Q学習の特徴として以下が挙げられます。
- モデルフリー：環境のダイナミクスを事前に知らなくても学習できます。
- オフポリシー：経験（過去のデータ）を再利用して学習できます。
- 状態・行動空間が小さい場合はテーブル（QテーブルないしQ表）で管理しますが、大規模な空間ではニューラルネットワークで近似する深層Q学習（DQN）に発展しています。
使い方・例文
迷路ゲームのAIにQ学習を適用すると、試行錯誤を繰り返すうちにQテーブルが更新され、最終的にエージェントはゴールまでの最短経路を選ぶ行動方針を自力で習得します。
この用語をシェア
最終更新: