LLMの出力を調整するパラメータである温度(Temperature)を高く設定したときの傾向として、最も適切なものはどれか。
- 1確率の低いトークンも選ばれやすくなり、出力の多様性やランダム性が高まる
- 2常に最も確率の高いトークンが選ばれるようになり、出力が一定になる
- 3モデルが参照できる知識が増え、回答の事実としての正確性が向上する
- 4一度に入力できるトークン数の上限が大きくなる
正解と解説を見る
正解:1
温度は、次のトークンを選ぶ際の確率分布のなだらかさを調整するパラメータで、高くすると確率の低いトークンも選ばれやすくなり、多様で意外性のある出力になりやすくなります。2は温度を低く(0に近く)設定したときの傾向です。温度はモデルの知識量や正確性を高めるものではなく(3)、入力できるトークン数の上限(コンテキストウィンドウ)とも関係ありません(4)。アイデア出しには高め、正確さや一貫性が求められる用途には低めに設定するのが目安です。
根拠:サンプリング温度(softmax temperature)