大規模言語モデルが人間の意図や好みに沿った応答をするように調整する手法であるRLHF（Reinforcement Learning from Human Feedback）の説明として、最も適切なものはどれか。
- 1大量のラベルなしテキストを用いて、次に来る単語を予測するように学習し、言語に関する一般的な知識を獲得させる。
- 2モデルの複数の出力を人間が比較・順位付けしたデータから報酬モデルを学習し、その報酬が高くなるように強化学習で言語モデルを微調整する。
- 3プロンプトの中にいくつかの入力と出力の例を含めることで、モデルのパラメータを更新せずに新しいタスクを実行させる。
- 4外部の文書データベースから質問に関連する文書を検索し、その内容をプロンプトに加えて回答を生成させる。
正解と解説を見る
正解：2
RLHFでは、人間が出力を比較・順位付けしたデータから「人間がどちらを好むか」を予測する報酬モデルを作り、その報酬を最大化するようにPPOなどの強化学習で言語モデルを調整します。InstructGPTやChatGPTの開発に用いられたことで広く知られるようになりました。選択肢1は事前学習、選択肢3はfew-shot学習（文脈内学習）、選択肢4はRAG（検索拡張生成）の説明です。RLHFは「人間の評価→報酬モデル→強化学習」という流れで押さえておきましょう。
根拠：Ouyang et al.（2022）InstructGPT（RLHF）