対話型AIの開発で用いられるRLHF（人間のフィードバックによる強化学習）の説明として、最も適切なものはどれか。
- 1大量のラベルなしテキストを用いて、次に来るトークンを予測するようにモデルを学習させる
- 2人間がモデルの複数の出力を比較・評価したデータから報酬モデルを作り、その報酬が高くなるように強化学習でモデルを調整する
- 3質問に関連する外部文書を検索してプロンプトに追加し、回答の根拠として利用させる
- 4大きなモデルの出力を教師として、より小さなモデルに同等の振る舞いを学習させる
正解と解説を見る
正解：2
RLHFは、人間が出力の良し悪しを順位付けなどで評価したデータを使って報酬モデルを学習し、その報酬を最大化するように強化学習でLLMを調整する手法で、出力を人間の意図や好みに沿わせる（アライメント）目的で用いられます。1は事前学習、3はRAG（検索拡張生成）、4は知識蒸留の説明です。RLHFは、事前学習と教師ありファインチューニングの後に行われる調整工程として位置付けられることを覚えておきましょう。
根拠：RLHF（InstructGPT, Ouyang et al. 2022）