2017年にGoogleの研究者らが論文「Attention Is All You Need」で提案し、現在の大規模言語モデルの基盤となっているTransformerの特徴として、最も適切なものはどれか。
- 1画像に小さなフィルタを適用する畳み込み層と、情報を圧縮するプーリング層を交互に重ねて、局所的な特徴を段階的に抽出する。
- 2生成器と識別器という2つのネットワークを互いに競わせるように学習させることで、本物に近いデータを生成する。
- 3再帰的な構造を用いず、自己注意機構（Self-Attention）によって系列内の各要素間の関係を捉えるため、並列計算がしやすい。
- 4隠れ状態を時刻ごとに順番に次へ受け渡すことで時系列データを処理するため、系列の要素を1つずつ逐次的に計算する必要がある。
正解と解説を見る
正解：3
TransformerはRNNのような再帰構造を使わず、自己注意機構によって文中の離れた単語どうしの関係も直接捉えられる構造です。系列の要素を順番に処理する必要がないため並列計算に向いており、大量のデータを使った大規模な学習ができるようになりました。畳み込み層とプーリング層はCNN、生成器と識別器の競合はGAN、隠れ状態の逐次的な受け渡しはRNNの特徴です。GPTなどの大規模言語モデルは「Transformer＝自己注意機構＋並列計算」を土台にしていると押さえておきましょう。
根拠：Vaswani et al.「Attention Is All You Need」（2017年）