Transformerを基盤とする代表的な言語モデルであるBERTとGPTの比較として、最も適切なものはどれか。
- 1BERTはTransformerのデコーダを用いて文章を左から順に生成するモデルであり、GPTはエンコーダを用いて文脈を双方向から捉えるモデルである
- 2BERTとGPTはいずれもRNN（再帰型ニューラルネットワーク）を基盤としており、Transformerは用いていない
- 3BERTは画像生成に特化したモデルであり、GPTはテキスト生成に特化したモデルである
- 4BERTはTransformerのエンコーダを用いて文脈を双方向から捉えるモデルであり、GPTはデコーダを用いて次のトークンを予測しながら文章を生成するモデルである
正解と解説を見る
正解：4
BERTはTransformerのエンコーダ部分を用い、文中の一部を隠した単語を前後の文脈から予測する学習（マスク言語モデル）によって文脈を双方向から捉えるモデルで、文章分類などの理解系タスクに強みがあります。GPTはデコーダ部分を用い、前のトークンから次のトークンを予測する自己回帰型のモデルで、文章生成に適しています。1は両者の説明が逆、2はどちらもTransformerを基盤としているため誤り、3はBERTを画像生成モデルとしている点が誤りです。「BERT＝エンコーダ・双方向・理解系」「GPT＝デコーダ・自己回帰・生成系」と整理しておきましょう。
根拠：BERT（Devlin et al. 2018）、GPT（Radford et al. 2018）