人間フィードバック強化学習とは？

人間フィードバック強化学習（Reinforcement Learning from Human Feedback、RLHF）は、大規模言語モデル（LLM）を人間の期待・価値観に合わせてアライン（整合）させるための手法として広く採用されています。ChatGPTやClaudeなど主要な対話AIの学習に用いられています。

RLHFの学習プロセスは主に三段階からなります。

• 教師あり事前学習・ファインチューニング：人間が作成した高品質なデモンストレーションデータでモデルを初期ファインチューニングします。
• 報酬モデルの学習：AIの複数の出力を人間のアノテーターが比較・ランキングし、その好みを学習した報酬モデルを構築します。
• 強化学習によるポリシー最適化：報酬モデルが高スコアを付ける出力を生成するよう、PPO（Proximal Policy Optimization）などのアルゴリズムでメインモデルを最適化します。

RLHFにより、モデルが有害・差別的・不誠実な出力をしにくくなり、指示への追従性が向上することが示されています。一方で、アノテーターのバイアスが報酬モデルに反映されるリスクや、報酬ハッキング（スコアを上げるが意図に反した出力を生み出す）といった課題も知られています。人間のフィードバックコストをどう削減するか、合成データやAIフィードバックを活用するRLAIF（AI Feedback）なども研究されています。