姿勢推定とは

姿勢推定は、画像や動画から人の体の姿勢を求めるタスクです。肩、ひじ、手首、腰、ひざ、足首などの関節や、目や耳といった特徴点（キーポイント）の位置を推定し、それらを線で結んだ骨格として出力します。画像上の2次元の位置を求めるものが中心ですが、3次元の位置を求める研究もあります。

ほかの画像認識タスクとの違い

物体検出は人を矩形で囲み、セグメンテーションは人の領域を画素単位で塗り分けます。どちらも、腕を上げているのか、しゃがんでいるのかまでは表せません。姿勢推定は、点と線で体の形を表すことで、動きや姿勢の情報を取り出します。

主な方式

初期の代表例は、2014年に発表されたDeepPoseです。関節の座標をニューラルネットワークで直接求める、回帰の問題として扱いました。その後は、関節がありそうな場所を地図（ヒートマップ）の形で出力する方式が広く使われています。

画像に複数の人が写る場合は、大きく2つの方式があります。

• トップダウン型：先に物体検出で人を見つけ、1人ずつ関節を推定します。Mask R-CNNを応用する方法などがあります。人数が増えるほど処理が増えやすく、人の検出に失敗すると、その人の姿勢は求められません。
• ボトムアップ型：先に画像全体から関節の候補を見つけ、人ごとに組み立てます。代表例のOpen Poseは、関節どうしのつながりを表すPart Affinity Fieldsを使い、人数が増えても処理時間が増えにくくなっています。

活用の場面

スポーツのフォームの分析、リハビリでの動作の評価、転倒の検知、工場での作業の分析などに使われます。人の映像を扱うため、プライバシーへの配慮が必要になる場面もあります。学習には、関節の位置を付けた正解データ（アノテーション）が必要です。

覚え方

「検出は箱、セグメンテーションは塗り、姿勢推定は点と線」と覚えます。