LLMの研究で知られる「スケーリング則（Scaling Laws）」の説明として、最も適切なものはどれか。
- 1モデルのパラメータ数、学習データ量、計算量を増やすほど、モデルの損失（誤差）がべき乗則に従って減少していくという経験則
- 2モデルのパラメータ数が一定の規模を超えると、それ以上増やしても性能がまったく向上しなくなるという法則
- 3学習データ量を2倍にすると、モデルのパラメータ数に関係なく推論に必要な計算量が半分になるという法則
- 4画像の解像度を2倍にすると生成に必要な計算量も必ず2倍になるという、画像生成AIに固有の法則
正解と解説を見る
正解：1
スケーリング則は、モデルのパラメータ数・学習データ量・学習に用いる計算量を増やすと、言語モデルの損失がべき乗則に従って予測可能な形で減少するという経験則で、2020年にOpenAIの研究者らが報告しました。この知見は、LLMの大規模化が進んだ背景の一つとされています。選択肢2のように一定規模で性能向上が完全に止まるという法則ではなく、選択肢3・4のような推論の計算量や画像の解像度に関する単純な比例関係を示したものでもありません。「規模（パラメータ・データ・計算量）を増やすほど性能が予測可能に向上する」という点を押さえておきましょう。
根拠：スケーリング則（Kaplan et al., 2020 "Scaling Laws for Neural Language Models"）