ある小売企業が、過去3年分の日次売上データを使って翌月の売上を予測するモデルを作ろうとしている。このモデルの汎化性能を評価するためのデータ分割方法として、最も適切なものを選べ。
- 1データ全体をランダムにシャッフルしてからk分割交差検証を行い、各分割の評価値の平均をとる
- 2データを時間順に並べ、ある時点より前を学習に、それより後の期間を検証に使う
- 3学習に使ったデータをそのまま評価にも使い、予測誤差が十分小さいことを確認する
- 4直近1年分のデータで学習し、それより古い2年分のデータで検証する
正解と解説を見る
正解：2
時系列データでは、実際の運用と同じように「過去のデータで学習し、未来のデータで予測する」形で評価しないと、本番での性能を正しく見積もれません。ランダムにシャッフルすると検証データより未来の情報が学習に入り込み（リーケージ）、評価が実際より楽観的になります。学習データで評価する方法は過学習を見抜けず、新しいデータで学習して古いデータで検証する方法は時間の向きが逆で、運用時の状況を再現できません。時系列データの検証では、時間の順序を保ったまま分割すること（時系列分割）を押さえておきましょう。
根拠：機械学習におけるモデル評価：ホールドアウト法・交差検証と時系列データのデータリーケージ