Transformerのデコーダにある Source-Target Attention（Encoder-Decoder Attention）において、クエリ（Query）、キー（Key）、バリュー（Value）がそれぞれどこから得られるかの組み合わせとして、正しいものはどれか。
- 1Query・Key・Valueのすべてが、デコーダ側の前段の層から得られる。
- 2Queryはエンコーダの出力から、KeyとValueはデコーダ側から得られる。
- 3QueryとKeyはエンコーダの出力から、Valueはデコーダ側から得られる。
- 4Queryはデコーダ側から、KeyとValueはエンコーダの出力から得られる。
正解と解説を見る
正解：4
Source-Target Attentionでは、デコーダが生成中の位置からQueryを出し、エンコーダの出力から作ったKeyと照合して入力系列のどこに注目するかを決め、同じくエンコーダの出力から作ったValueから情報を取り出します。これにより、翻訳などで出力の各単語が入力文のどの部分に対応するかを学習できます。1はデコーダ内部の（マスク付き）Self-Attentionの説明です。「問い合わせるのはデコーダ、参照されるのはエンコーダ」と覚えておきましょう。
根拠：Attention Is All You Need（Vaswani et al., 2017）のEncoder-Decoder Attention