インスタンスセグメンテーションとは

インスタンスセグメンテーションは、画像の中の物体を1つずつ見分け、それぞれの形を画素単位で切り出すタスクです。「インスタンス」は、同じ種類に属する1つ1つの個体を指します。

ほかのタスクとの違い

• 物体検出：物体ごとに長方形の枠とクラスを出力します。個体は区別できますが、形は枠の範囲でしかわかりません。
• セマンティックセグメンテーション：すべての画素にクラスを付けます。形は細かくわかりますが、同じクラスの物体どうしは区別しません。
• インスタンスセグメンテーション：物体ごとに別々の領域（マスク）を出力します。個体の区別と、画素単位の形の両方がわかります。

つまり、物体検出の「1つずつ」と、セマンティックセグメンテーションの「画素単位」をあわせたタスクです。ただし対象は人や車のように数えられる物体で、空や道路のような背景は扱いません。背景まで含めて画像全体を塗り分けるのは、パノプティックセグメンテーションです。

代表的な方法

代表的なモデルはMask R-CNNです。物体検出のFaster R-CNNで物体の候補領域を見つけ、その領域ごとにマスクを予測します。「検出してから切り出す」という2段階の考え方です。評価には、物体検出と同じ平均適合率（AP）を、枠ではなくマスクの重なりで計算する指標がよく使われます。

使われる場面

重なり合った部品を1つずつつかむロボットのピッキング、細胞を1つずつ数える医療画像の解析、人物ごとに切り抜く写真の加工などで使われます。「どれが何個あり、それぞれどんな形か」を知りたい場面に向いたタスクです。

覚え方

「インスタンス＝1人ひとり。個体ごとに塗り分ける」と覚えます。