セマンティック・インスタンスとパノプティックの違い｜背景と個体の扱い

結論

セマンティックセグメンテーションは、背景を含むすべての画素にクラスを付けますが、同じクラスの物体を1つずつは区別しません。インスタンスセグメンテーションは、人や車のような数えられる物体を1つずつ区別して画素単位で切り出し、パノプティックセグメンテーションは、この2つを統合して、すべての画素にクラスを付けたうえで物体の個体も区別します。

比較表

セマンティック・インスタンスとパノプティックの違いの比較表
観点	セマンティック	インスタンス	パノプティック
英語	semantic segmentation	instance segmentation	panoptic segmentation
クラスを付ける画素	すべての画素	検出した物体の画素だけ	すべての画素
同じクラスの物体の区別	しない（3人いれば、まとめて1つの「人」の領域）	する（物体ごとに別々のマスク）	する（数えられる物体だけ）
空や道路などの背景	扱う	扱わない	扱う（クラスだけを付け、個体は区別しない）
出力の形	画素ごとのクラスを並べた、入力と同じ大きさの地図	物体ごとのマスクとクラス（マスクどうしが重なることもある）	画素ごとのクラスと個体の番号の組（画像全体を重なりなく塗り分ける）
代表的なモデル	FCN、SegNet、U-Net、DeepLab、PSPNet	Mask R-CNN	Panoptic FPN
よく使われる評価指標	mIoU（クラスごとのIoUの平均）	マスクの重なりで計算するAP（平均適合率）	PQ（Panoptic Quality）
向いている用途の例	走行できる路面の把握、医療画像での臓器の抽出	重なった部品のピッキング、細胞の計数	路面などの領域と、車や歩行者1つずつを同時に把握する自動運転
シラバス項目	技術分野項目26 画像認識	技術分野項目26 画像認識	技術分野項目26 画像認識

それぞれの説明

セグメンテーションは、画像を画素（ピクセル）単位で分ける画像認識のタスクです。3つの違いは、「背景も塗るか」と「同じクラスの物体を1つずつ区別するか」の2点で整理できます。

セマンティックセグメンテーション

すべての画素に「人」「道路」「空」などのクラスを付けます。背景も含めて画像全体を塗り分けますが、同じクラスの物体は区別しません。3人が並んで写っていれば、3人まとめて1つの「人」の領域になります。

代表例は、全結合層をなくして画素ごとの出力を可能にしたFCNや、特徴を縮めるエンコーダと元の大きさに戻すデコーダを組み合わせたSegNet、U-Netです。

インスタンスセグメンテーション

人や車のような数えられる物体を1つずつ見分け、それぞれの形を画素単位で切り出します。物体ごとに別々のマスクを出力するので、個数もわかります。一方、空や道路のような背景は扱いません。

代表的なモデルのMask R-CNNは、物体検出のFaster R-CNNで物体の候補領域を見つけ、その領域ごとにマスクを予測します。「検出してから切り出す」という考え方です。

パノプティックセグメンテーション

2018年に提案された、2つのタスクを統合したタスクです。提案論文では、人や車のように数えられる物体をthings、空や道路のように数えられない領域をstuffと呼んで区別しています。

すべての画素にクラスを付け、thingsの画素には個体の番号も付けます。stuffの画素にはクラスだけを付けます。1つの画素は1つの領域にだけ属し、画像全体が重なりなく塗り分けられます。評価には、領域の重なりの正確さと物体の見つけ方をまとめて測る、PQという指標が導入されました。

見分けるコツ

「個体を数えられるか」で見分けます。同じクラスの物体の個数がわかるのはインスタンスとパノプティックで、セマンティックではわかりません。
「背景も塗るか」で見分けます。空や道路まで画像全体を塗り分けるのはセマンティックとパノプティックで、インスタンスは物体だけを切り出します。
パノプティックは「全体を見渡す」という意味です。セマンティックの「全部塗る」とインスタンスの「1つずつ数える」をあわせたタスクだと覚えます。

◯×チェック

車載カメラの画像から、走行できる路面の領域だけを画素単位で知りたい場合は、セマンティックセグメンテーションで目的を果たせる。

答えを見る

答え ◯ 正しい

路面は数えられない領域で、1つずつ区別する必要がありません。画素ごとに「路面かどうか」がわかれば足ります。
パノプティックセグメンテーションの結果から個体の番号を取り除き、クラスだけを残すと、セマンティックセグメンテーションと同じ形の結果になる。

答えを見る

答え ◯ 正しい

パノプティックの出力は、画素ごとの「クラス」と「個体の番号」の組です。番号を捨てれば、すべての画素にクラスだけが付いた地図になります。
インスタンスセグメンテーションでは、同じクラスの物体が重なって写っている場合、それらの画素を1つの領域にまとめて出力する。

答えを見る

答え × 誤り

インスタンスセグメンテーションは、重なっていても物体ごとに別々のマスクを出力します。接した同じクラスの物体が1つの領域になるのは、セマンティックセグメンテーションです。