CutMixとは

CutMixは、2枚の画像を切り貼りで混ぜるデータ拡張の手法です。2019年のICCVで発表されました。猫の写真の一部を四角く切り抜き、そこに犬の写真の同じ位置の部分をはめ込むイメージです。正解ラベルも、はめ込んだ部分の面積の割合に合わせて混ぜます。

ラベルの決め方

画像全体の面積のうち、別の画像から貼った長方形が占める割合をrとします。猫の画像に犬の画像の一部を貼った場合、正解は「猫1 − r、犬r」です。たとえば縦横とも元の画像の半分の長方形を貼ると、rは0.5 × 0.5 = 0.25です。正解は「猫0.75、犬0.25」になります。辺の長さの比ではなく、面積の比で考えるのがポイントです。貼る位置と大きさは、毎回ランダムに決めます。

生まれた背景

CutMixは、2つの先行手法の弱点を補う形で提案されました。

• Cutout：画像の一部を塗りつぶして隠します。隠れた画像に強くなりますが、塗りつぶした部分からは何も学べません。
• Mixup：2枚を全体で重ねます。すべての画素を使えますが、透けて重なった不自然な画像になります。

CutMixは、隠した部分に別の画像の本物の画素を入れることで、両方の弱点を抑えます。モデルは物体の一部だけを見て判断することも求められるため、物体の位置をとらえる力も伸びます。提案論文では、ResNet-50によるImageNetの画像分類の正解率（top-1）が76.3%から78.6%に上がりました。物体の位置を推定する課題や、物体検出への転移でも改善が報告されています。

覚え方

「Cutで切り取り、Mixで混ぜる」と覚えます。切り取った穴に別の画像を入れ、ラベルも面積の比率で混ぜるのがCutMixです。