LLM（大規模言語モデル）における「トークン」の説明として、最も適切なものはどれか。
- 1LLMの学習に用いられた文書1件ごとを数える単位であり、学習データの件数を表す
- 2モデルがテキストを処理する際の単位であり、文章を単語・単語の一部・文字などに分割したもの
- 3言語によらず常に1文字が1トークンに対応するため、文字数とトークン数は必ず一致する
- 4モデル内部に保持されているパラメータ（重み）の1つ1つを指し、モデルの規模を表す
正解と解説を見る
正解：2
LLMは入力された文章をトークナイザーでトークンという単位に分割し、トークン単位で処理や次の予測を行います。分割のされ方はトークナイザーや言語によって異なるため、文字数とトークン数が一致するとは限らず、選択肢3は誤りです。選択肢4はパラメータの説明であり、トークンとは別の概念です。API利用料金や一度に扱える入力の長さ（コンテキスト長）もトークン数で数えられることを押さえておきましょう。
根拠：LLMにおけるトークン化（トークナイゼーション）の仕組み