誤差逆伝播法の説明として最も適切なものはどれか。
- 1出力層で求めた誤差を出力層側から入力層側へ順にさかのぼって伝え、微分の連鎖律を用いて各重みについての誤差関数の勾配を効率よく求める手法である。
- 2重みを1つずつわずかに変化させたときの誤差関数の変化量を順伝播で測り、数値微分によって勾配を求める手法である。
- 3求めた勾配の大きさに応じて、学習率をパラメータごとに自動で調整する最適化アルゴリズムである。
- 4ネットワークを1層ずつ教師なし学習で事前学習し、その後に全体を微調整する手法である。
正解と解説を見る
正解：1
誤差逆伝播法は、合成関数の微分である連鎖律を利用し、出力側から入力側へ誤差を伝えながらすべての重みの勾配をまとめて計算する手法です。数値微分でも勾配は求められますが、重みの数だけ順伝播を繰り返す必要があり、大規模なネットワークでは現実的ではありません。学習率を自動調整するのはAdaGradやAdamなどの最適化手法の役割で、誤差逆伝播法は勾配を「求める」部分を担います。層ごとの教師なし事前学習は、自己符号化器などを用いた事前学習の説明です。誤差逆伝播法は「連鎖律で勾配を効率的に計算する方法」で、重みの更新方法そのものとは別だと押さえておきましょう。
根拠：誤差逆伝播法（Rumelhart, Hinton, Williams, 1986）と連鎖律