通信会社が、顧客ごとに翌月解約するかどうかを予測するモデルを開発している。次の作業のうち、データリーケージ（予測時点では本来利用できない情報が学習に入り込むこと）を引き起こすおそれが最も高いものはどれか。
- 1標準化に用いる平均と標準偏差を学習データだけから算出し、その値をテストデータの変換にも適用する。
- 2解約手続きの際に顧客が回答した「解約理由アンケート」の回答内容を特徴量に加える。
- 3予測対象月より前の月の利用回数や問い合わせ件数を特徴量に加える。
- 4同一顧客のデータが学習データとテストデータの両方に含まれないように分割する。
正解と解説を見る
正解：2
解約理由アンケートは解約手続きの時点で初めて得られる情報で、翌月の解約を予測する時点には存在しません。これを特徴量に使うと、テストでは高精度でも本番では同じ精度が出ないデータリーケージになります。標準化の統計量を学習データだけから求めることや、同一顧客が学習データとテストデータにまたがらないよう分割することは、むしろリーケージを防ぐための適切な手順です。予測対象月より前の利用実績は予測時点で入手できるため問題ありません。特徴量ごとに「予測を行う時点で本当に入手できる情報か」を確認することが、リーケージ防止の基本です。
根拠：データリーケージ（Data Leakage）