Transformerの中核となる仕組みで、入力された系列の中で各トークンが他のどのトークンとどの程度関連しているかを計算し、文脈を捉えるものはどれか。
- 1自己注意機構（Self-Attention）
- 2畳み込み層（Convolution）
- 3LSTMのゲート機構
- 4敵対的学習
正解と解説を見る
正解：1
自己注意機構は、系列内のトークン同士の関連度を計算し、離れた位置にある語どうしの関係も含めて文脈を捉える仕組みです。2017年の論文「Attention Is All You Need」で提案されたTransformerの中核をなしています。畳み込み層は主にCNNで画像の局所的な特徴を抽出する仕組み、LSTMのゲート機構はRNNで系列を順番に処理しながら情報を保持する仕組み、敵対的学習はGANの学習方法です。Transformerは再帰構造を使わずにAttentionで系列全体を扱うため、並列計算がしやすいことも押さえておきましょう。
根拠：Vaswani et al.「Attention Is All You Need」（2017）