パノプティックセグメンテーションとは

パノプティックセグメンテーションは、2018年にKirillovらが提案した画像認識のタスクです。「パノプティック（panoptic）」は「全体を一度に見渡す」という意味で、画像に写るものすべてを1枚の結果にまとめて表すことを指しています。

thingsとstuff

画像に写るものは、2種類に分けて考えます。

• things：人、車、動物のように、1つ、2つと数えられる物体。
• stuff：空、道路、芝生のように、形が決まらず数えられない領域。

セマンティックセグメンテーションは両方にクラスを付けますが、thingsの個体は区別しません。インスタンスセグメンテーションはthingsを1つずつ切り出しますが、stuffは扱いません。パノプティックセグメンテーションは、この2つを統合したタスクです。

出力の形

すべての画素に「クラス」と「個体の番号」を1組ずつ割り当てます。thingsの画素には、同じクラスでも個体ごとに別の番号が付きます。stuffの画素はクラスだけで、個体の番号は使いません。1つの画素が2つの物体に属することはなく、領域どうしが重ならないように画像全体を塗り分けます。

評価と方法

提案論文では、thingsとstuffを同じ物差しで評価する指標として、PQ（Panoptic Quality）も導入されました。PQは、領域の重なりの正確さ（SQ）と、物体を正しく見つけた度合い（RQ）の積として表せます。

方法としては、Mask R-CNNにセマンティックセグメンテーションの分岐を加え、両方の結果を組み合わせるPanoptic FPNなどがあります。自動運転のように、道路という領域と、1台ずつの車や1人ずつの歩行者を同時に把握したい場面で役立ちます。

覚え方

「パノプティック＝全部入り。背景は塗り、物体は数える」と覚えます。