CLIPによる画像分類の方法｜G検定練習問題 #0079

あるECサイトの運営会社が、ラベル付きの学習データを用意せずに、商品画像を「スニーカー」「ワンピース」「腕時計」など任意のカテゴリに分類したい。CLIPを使ってこれを実現する方法として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解B

ポイント

CLIPは画像と文を同じ埋め込み空間で対応づけるため、カテゴリ名の文との類似度を比べるだけでZero-shot分類ができます。

A

不適切

CLIPは画像と文をそれぞれ埋め込みベクトルに変換するエンコーダの組で、文章を生成する仕組みはもちません。画像から説明文を生成するのは、Image Captioningのモデルです。
B

適切 ◯ 正解

CLIPは大量の画像と文のペアを使い、対応するペアの埋め込みが近く、対応しないペアが遠くなるよう対照学習しています。そのため、カテゴリ名を文にして画像との類似度を比べるだけで、追加学習なしのZero-shot分類ができます。
C

不適切

CLIP自体は画像を生成しません。DALL-E 2のような画像生成モデルの部品として使われることはありますが、分類には画像と文の埋め込みの類似度を直接比べれば足ります。
D

不適切

画像エンコーダに分類層を付けて学習する方法（線形プローブ）は、カテゴリごとのラベル付き画像が必要で、目的に合いません。カテゴリを増やすたびに学習し直す手間もかかります。言葉で表したカテゴリに追加学習なしで対応できる点が、CLIPの利点です。

CLIPの対照学習の仕組みと、それによって可能になるZero-shot分類の手順を問う形が典型です。