製造ラインの外観検査にAIを導入する。不良品を良品と誤判定して出荷すると重大なクレームや製品回収につながる。一方、良品を不良品と誤判定した場合は作業員が目視で再確認すればよく、そのコストは比較的小さい。また、不良品の発生率は全体の約0.5%である。このプロジェクトでモデルを評価・調整する方針として、最も適切なものはどれか。
- 1不良品クラスの再現率（Recall）を重視して見逃しが許容水準以下になるよう判定の閾値を調整し、そのうえで過検出による再確認の負荷が現場で対応可能かを確認する。
- 2正解率（Accuracy）が最も高いモデルを採用し、判定の閾値は0.5に固定して運用する。
- 3不良品クラスの適合率（Precision）が最大になるよう閾値を高めに設定し、過検出をできるだけ減らす。
- 4不良品の発生率が低いため、評価には良品の画像だけを用い、良品を正しく良品と判定できる割合で性能を判断する。
正解と解説を見る
正解：1
不良品が全体の約0.5%しかない不均衡データでは、すべてを良品と判定するだけで正解率が約99.5%になるため、正解率は評価指標として不適切です。見逃し（偽陰性）のコストが大きいこのケースでは、不良品クラスの再現率を重視し、閾値を調整して見逃しを抑えるのが妥当です。適合率を重視して閾値を高くすると、過検出は減る一方で見逃しが増えます。また、良品データだけでは不良品の検出性能を評価できません。評価指標と閾値は、誤判定の種類ごとのビジネス上のコストに基づいて決めることを押さえましょう。
根拠：分類モデルの評価指標（正解率・適合率・再現率）と不均衡データ