Word2Vecの学習手法の一つであるスキップグラム(Skip-gram)の説明として、最も適切なものはどれか。
- 1ある単語を入力として、その周辺に出現する単語を予測するように学習する。
- 2周辺の複数の単語を入力として、その中心にある単語を予測するように学習する。
- 3文中の一部の単語をマスクし、前後双方向の文脈からマスクされた単語を予測するように学習する。
- 4文書中の単語の出現頻度を、その単語が出現する文書数の逆数に基づいて重み付けし、文書をベクトル化する。
正解と解説を見る
正解:1
スキップグラムは中心の単語から周辺の単語を予測するように学習し、その過程で得られた重みを単語の分散表現として使います。選択肢2はWord2Vecのもう一つのモデルであるCBOW(Continuous Bag-of-Words)で、入力と出力の関係がスキップグラムと逆です。選択肢3はBERTのMasked Language Model、選択肢4はTF-IDFの説明です。「スキップグラムは中心→周辺、CBOWは周辺→中心」と覚えておきましょう。
根拠:Mikolov et al.(2013)Word2Vec(Skip-gram/CBOW)