ランダムフォレストでは、ブートストラップサンプリングに加えて、決定木の分岐に用いる特徴量の候補をランダムに一部だけ選ぶ。この工夫の主な目的として、最も適切なものを選べ。
- 1各決定木を深く成長させ、訓練データに対する誤差をゼロにするため
- 2前に学習した決定木の誤りを、次の決定木が修正できるようにするため
- 3使用する特徴量を減らすことで、全体を1本の決定木として解釈しやすいモデルにするため
- 4決定木どうしの相関を下げて多様性を持たせ、アンサンブル全体の予測のばらつき（バリアンス）を抑えるため
正解と解説を見る
正解：4
似た決定木ばかりを集めても、多数決や平均の効果は小さくなります。そこでランダムフォレストは特徴量をランダムに選んで木どうしの相関を下げ、アンサンブルによるバリアンス低減の効果を高めています。前の木の誤りを次の木が修正するように逐次学習するのはブースティングの考え方です。訓練誤差をゼロにすると過学習につながりますし、多数の木を組み合わせたモデルは1本の木より解釈しにくくなります。ランダムフォレストは「バギング＋特徴量のランダム選択」で多様な木を作る手法だと押さえましょう。
根拠：アンサンブル学習（バギング、ランダムフォレスト、ブースティング）