大規模言語モデル（LLM）が文章を生成する基本的な仕組みとして、最も適切なものはどれか。
- 1学習時に保存した文章のデータベースから、質問に最も近い文章を検索してそのまま出力する
- 2人間があらかじめ記述した文法規則と辞書を組み合わせて、文章を組み立てる
- 3質問内容を論理式に変換し、数学的に証明された正しい答えだけを出力する
- 4それまでの文脈をもとに次に来るトークンの確率を予測し、トークンを一つずつ選んで文章をつなげていく
正解と解説を見る
正解：4
LLMは、入力された文脈から次に続くトークン（単語や文字の断片）の出現確率を予測し、それを繰り返すことで文章を生成します。学習データを検索してそのまま返す仕組みではなく（1）、人手のルールで文章を組み立てるわけでも（2）、論理的な正しさを証明しているわけでもありません（3）。確率にもとづいて「もっともらしい続き」を生成しているため、内容が事実と異なる場合もあることを覚えておきましょう。
根拠：自己回帰型言語モデルによる次トークン予測