OpenAIが2021年に発表したCLIPの説明として、最も適切なものはどれか。
- 1画像を固定サイズのパッチに分割してトークン列とみなし、Transformerのエンコーダに入力して画像分類を行う。
- 2テキストを条件として与え、ノイズを段階的に除去することで、テキストの内容に沿った画像を生成する。
- 3大量の画像と説明文のペアを用い、対応するペアの埋め込みが近く、対応しないペアの埋め込みが遠くなるように、画像エンコーダとテキストエンコーダを対照学習で同時に学習する。
- 4CNNで画像から特徴を抽出し、その特徴をもとにRNNで説明文を1単語ずつ生成する。
正解と解説を見る
正解：3
CLIPはWebから集めた約4億組の画像とテキストのペアで対照学習を行い、画像とテキストを共通の埋め込み空間に写像します。そのため「a photo of a 〇〇」のようにクラス名を入れた文との類似度を比べるだけで、追加学習なしのゼロショット画像分類ができます。1はVision Transformer（ViT）、2はテキスト条件付き拡散モデルによる画像生成、4はCNNとRNNを組み合わせた画像キャプション生成の説明です。CLIPのキーワードは「画像とテキストの対照学習」と「ゼロショット分類」です。
根拠：Radford et al. (2021) "Learning Transferable Visual Models From Natural Language Supervision"