セマンティックセグメンテーションとは

セマンティックセグメンテーションは、画像を画素（ピクセル）単位で分類するタスクです。車載カメラの画像なら、道路、歩道、車、人、空といった区分で、画像全体を塗り分けます。「セマンティック」は「意味的な」を表す英語で、画素ごとに意味のラベルを付けることを指しています。

ほかの画像認識タスクとの違い

• 画像分類：画像全体に1つのラベルを付けます。
• 物体検出：物体を長方形の枠で囲み、クラスを答えます。
• セマンティックセグメンテーション：すべての画素にクラスを付けます。同じクラスの物体が並んでいても、個体は区別しません。3人が写っていれば、3人まとめて「人」の領域になります。
• インスタンスセグメンテーション：物体を1つずつ区別し、それぞれの形を画素単位で切り出します。空や道路のような、数えられない背景は対象にしません。
• パノプティックセグメンテーション：背景を含むすべての画素にクラスを付け、数えられる物体には個体の区別も付けます。セマンティックとインスタンスを統合したタスクです。

代表的なモデル

画像分類のCNNは、層を進むごとに特徴マップを縮め、最後に1つの答えを出します。セグメンテーションでは、縮めた特徴を入力と同じ大きさまで戻す必要があります。

FCNは、全結合層をなくしてすべてを畳み込み層で構成し、画素ごとの出力を可能にしました。その後、縮める部分（エンコーダ）と戻す部分（デコーダ）を対称に組むSegNetやU-Net、間隔を空けた畳み込み（Atrous Convolution）で広い範囲を見るDeepLab、複数の大きさで領域をまとめて画像全体の文脈を捉えるPSPNetなどが登場しました。

用途には、自動運転での走行できる領域の把握や、医療画像での臓器や病変の抽出などがあります。

覚え方

「意味（セマンティック）で塗り分け、個体は数えない」と覚えます。