BERTの事前学習で用いられた学習タスクの組み合わせとして、最も適切なものはどれか。
- 1文中の単語を左から右へ順に予測する自己回帰型の言語モデリングのみ
- 2入力中の各トークンが、小さな生成器によって置き換えられたものかどうかを判別する置換トークン検出
- 3入力の一部のトークンを隠して元のトークンを予測するマスク言語モデル（MLM）と、2つの文が連続しているかを判定する次文予測（NSP）
- 4画像とその説明文のペアを用い、対応するペアの埋め込みを近づける対照学習
正解と解説を見る
正解：3
BERTはTransformerのエンコーダを用います。MLMでは左右両方向の文脈を同時に使った表現を、NSPでは文と文の関係を学習しました。1はGPTのような自己回帰型モデル、2はELECTRA、4はCLIPの事前学習方法です。BERTは「双方向・MLM＋NSP」、GPTは「一方向・次の単語の予測」と対比して覚えましょう。
根拠：Devlin et al. (2019) "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"