強化学習からの人間フィードバックとは？
きょうかがくしゅうからのにんげんふぃーどばっく
強化学習からの人間フィードバック（RLHF）とは、人間の評価を報酬信号として使い、AIモデルを人間の意図に沿った挙動に調整する訓練手法です。
強化学習からの人間フィードバック（Reinforcement Learning from Human Feedback、略称RLHF）は、大規模言語モデル（LLM）などのAIシステムを、人間の価値観や意図に合わせて微調整するための機械学習手法です。ChatGPTやClaudeなど現代の対話型AIの性能向上に中心的な役割を果たしています。
RLHFの訓練プロセスは主に3段階で構成されます。
- 教師あり微調整（SFT）：人間が作成したお手本の対話データでモデルを初期微調整する
- 報酬モデルの学習：複数のモデル出力に対して人間がランキングを付け、「どちらが良い回答か」を学習した報酬モデルを構築する
- 強化学習による最適化：報酬モデルのスコアを最大化するように、PPO（近接方策最適化）などの強化学習アルゴリズムでモデルを更新する
この手法の革新的な点は、正解を直接与える代わりに「人間の好み」を学習させることです。有害なコンテンツの回避、丁寧なトーンの維持、指示への正確な追従など、単純な損失関数では定義しにくい「質」の概念をモデルに組み込めます。
一方、課題もあります。人間評価者の主観や偏りがそのまま学習されるリスク、大量の人間ラベリングコスト、報酬モデルの「ハッキング」（本当の品質向上ではなくスコアだけを高める挙動）などが研究上の論点となっています。近年は人間フィードバックの代わりにAI自身の評価を使うRLAIF（Reinforcement Learning from AI Feedback）も注目されています。
使い方・例文
対話型AIが「有害な内容を避けつつ、ユーザーの質問に的確に答える」という挙動を身につけるために、RLHFが使われています。人間の評価者が複数の回答案を比較・採点し、その結果をもとにモデルが継続的に改善されます。
この用語をシェア
最終更新: