対照学習とは

対照学習（contrastive learning）は、「何と何が似ているか」を手がかりに、データの特徴をベクトル（表現）として学ぶ方法です。似た組（正例）の表現は近づけ、似ていない組（負例）の表現は遠ざけます。

ラベルなしで学べる仕組み

画像の対照学習では、1枚の画像に切り抜きや色の変更などのデータ拡張を2通り施し、2枚を作ります。同じ画像から作った2枚は正例、ほかの画像から作ったものは負例とします。どれが正例かはデータの作り方から自動でわかるため、人手のラベルは要りません。そのため、自己教師あり学習の代表的な方法になっています。MoCo（2019年）やSimCLR（2020年）が知られています。学習したモデルは、分類や物体検出などの事前学習済みモデルとして使います。

損失関数

正例と負例の距離の関係を数値にしたのが、Contrastive Lossです。2つのデータが正例なら距離を小さく、負例なら一定の幅（マージン）以上離すように学習します。アンカー・正例・負例の3つ組を使うTriplet Lossも、同じ考え方です。SimCLRやMoCoでは、多数の負例の中から正例を見分ける形の損失がよく使われます。

負例の役割

正例を近づけるだけなら、どの入力にも同じベクトルを出せば損失は小さくなります。これでは何も区別できません。負例を遠ざけることで、この崩壊を防ぎます。

応用

CLIPは、画像と文章の対応する組を正例とする対照学習で、画像と言葉を同じベクトル空間に並べました。

覚え方

「仲間は近くに、他人は遠くに」と覚えます。