ニューラルネットワークの普遍近似定理（universal approximation theorem）の内容として最も適切なものはどれか。
- 1隠れ層を1層以上持つニューラルネットワークは、勾配降下法で学習すれば必ず大域的最適解に到達できる。
- 2活性化関数に恒等関数を用いた場合でも、層を十分に深くすれば任意の非線形関数を近似できる。
- 3シグモイド関数のような非線形の活性化関数を用いた隠れ層が1層あれば、ユニット数を十分に増やすことで、入力が有界な範囲において任意の連続関数を任意の精度で近似できる。
- 4任意の連続関数を近似するためには、隠れ層の数を入力の次元数以上にしなければならない。
正解と解説を見る
正解：3
普遍近似定理は、シグモイド関数のような非線形の活性化関数を持つ隠れ層が1層あれば、ユニット数を十分に増やすことで、有界な範囲の任意の連続関数を任意の精度で近似できることを示した定理です。ただし、示しているのは近似できるネットワークが「存在する」ことであり、学習でそのパラメータが見つかることまでは保証しないため、選択肢1は誤りです。恒等関数のような線形の活性化関数では、層をいくら重ねても全体が線形変換にしかならないため、選択肢2も誤りです。「普遍近似定理は表現力の存在を保証するが、学習のしやすさは保証しない」と覚えておきましょう。
根拠：普遍近似定理（Cybenko, 1989; Hornik ら, 1989）