マルチモーダルAIのタスクのうち、VQA(Visual Question Answering)の説明として、最も適切なものはどれか。
- 1画像を入力として受け取り、その内容を説明する文章を生成する。
- 2自然言語の文章を入力として受け取り、その内容に合った画像を生成する。
- 3画像と、その画像に関する自然言語の質問を入力として受け取り、質問に対する答えを出力する。
- 4動画を入力として受け取り、映っている人物の動作をあらかじめ決められたカテゴリに分類する。
正解と解説を見る
正解:3
VQAは画像と質問文という種類の異なるデータを組み合わせて扱い、「この画像に犬は何匹いるか」といった質問に答えるタスクです。画像の内容と質問の意味を両方理解する必要があるため、代表的なマルチモーダルタスクの一つとされます。選択肢1は画像キャプション生成、選択肢2はテキストからの画像生成(Text-to-Image)、選択肢4は行動認識の説明です。マルチモーダルタスクは「何を入力し、何を出力するか」の組み合わせで区別しておきましょう。
根拠:Antol et al.(2015)VQA: Visual Question Answering