金融機関が、稼働中の与信審査モデルを新しいモデルに置き換えることを検討している。置き換え前に本番環境の実データで新モデルの挙動を確かめたいが、検証期間中に新モデルの判定結果が実際の審査結果に影響することは避けたい。この目的に最も適した方法はどれか。
- 1カナリアリリースにより、申込者の一部に対してのみ新モデルの判定結果を実際の審査に適用する。
- 2A/Bテストにより申込者を2つの群に分け、各群でそれぞれのモデルの判定結果に基づいて審査する。
- 3ブルーグリーンデプロイメントにより本番環境を新モデルに一斉に切り替え、問題があれば旧環境に戻す。
- 4本番と同じ入力を新モデルにも並行して与え、その出力は審査に使わずに記録し、現行モデルの判定結果と比較する(シャドーデプロイ)。
正解と解説を見る
正解:4
シャドーデプロイ(シャドーモード)は、本番と同じ入力を新モデルにも並行して与え、その出力を業務判断には使わず記録だけして、現行モデルとの比較に使う手法です。カナリアリリースやA/Bテストは一部の利用者に新モデルの判定を実際に適用するため、検証期間中も審査結果に影響が出ます。ブルーグリーンデプロイメントは本番環境ごと切り替える方式で、切り替え後は新モデルの判定がそのまま業務に使われます。本番データで検証しながら業務への影響をなくしたいときはシャドーデプロイ、と押さえましょう。
根拠:MLOpsにおけるデプロイ手法(シャドーデプロイ、カナリアリリース、A/Bテスト、ブルーグリーンデプロイメント)