Faster R-CNNとYOLOの違い｜2段階型と1段階型、速度と精度｜G検定

結論

Faster R-CNNは、RPN（Region Proposal Network）で物体がありそうな候補領域を挙げてから、候補ごとにクラスと位置を求める2段階型の物体検出モデルで、精度に強みがあります。YOLOは、候補領域を挙げずに画像全体から物体の位置とクラスを一度に予測する1段階型のモデルで、動画をその場で処理できる速さに強みがあります。

比較表

Faster R-CNNとYOLOの違いの比較表
観点	Faster R-CNN	YOLO
発表	2015年に論文を公開（Shaoqing Ren、Kaiming Heら。NIPS 2015）	2015年に論文を公開（Joseph Redmonら。CVPR 2016）
方式	2段階型（ツーステージ）	1段階型（ワンステージ）
候補領域	RPNが、特徴マップの各位置に置いたアンカー（3種類の大きさ×3種類の縦横比で9個）をもとに挙げる	挙げない。画像を7×7のグリッドに分け、各セルが枠を直接予測する
処理の流れ	CNNで特徴マップを作り、RPNが候補領域を挙げ、候補ごとに特徴を切り出してクラスの分類と枠の補正を行う	画像全体を1つのCNNに一度通し、枠の位置、確からしさ、クラスの確率をまとめて出力する
処理の速さ（各論文の報告）	VGG-16を使ったモデルで、GPUで毎秒5枚	基本のモデルで毎秒45枚、小型のFast YOLOで毎秒155枚
PASCAL VOC 2007でのmAP（YOLOの論文の比較表）	73.2%（VGG-16を使ったモデル）	63.4%（基本のモデル）
苦手なこと	処理に時間がかかり、元の論文の速さではリアルタイム処理に届かない	枠の正確な位置合わせ、鳥の群れのように小さな物体が密集する場面
その後の発展	物体の領域を画素単位で求める枝を加えたMask R-CNN	アンカーを取り入れたYOLOv2など、改良版が続いた
シラバス項目	技術分野項目26 画像認識	技術分野項目26 画像認識
G検定での問われ方	R-CNN、Fast R-CNNから何が改良されたか、RPNとアンカーの役割、2段階型に分類されること	候補領域を作らない1段階型であること、処理の速さ、SSDと並ぶ1段階型の代表例であること

それぞれの説明

Faster R-CNNとYOLOは、どちらも2015年に論文が公開された物体検出モデルです。物体ごとに位置を示す矩形とクラスを出力する点は同じです。違いは、候補領域を挙げる段階を設けるかどうかにあります。

Faster R-CNN

Faster R-CNNは、R-CNN、Fast R-CNNと続いたR-CNN系の3番目のモデルです。Fast R-CNNまでは、候補領域の抽出に選択的探索（Selective Search）という従来の手法を使っていました。CPUで1枚あたり約2秒かかる処理です。Faster R-CNNは、これをRPNに置き換えました。

RPNは、特徴マップの各位置に大きさや縦横比の異なるアンカーを置き、物体らしさと枠のずれを予測して候補領域を挙げます。論文では、候補を1枚あたり300個に絞っても高い精度を得ています。そのあと、候補ごとに特徴を切り出し、クラスの分類と枠の補正を行います。RPNと検出の部分は畳み込み層を共有するので、候補の抽出にはほとんど追加の計算がかかりません。

YOLO

YOLO（You Only Look Once）は、候補領域を挙げる段階そのものをなくしました。画像を7×7のグリッドに分け、中心がそのセルに入る物体について、各セルが枠の位置と確からしさ、クラスの確率を予測します。画像全体を1つのCNNに一度通すだけで検出が終わります。

基本のモデルは毎秒45枚を処理し、動画をその場で解析するリアルタイム検出を実現しました。一方で論文自身が、枠の位置合わせの誤りが多いことや、小さな物体が密集する場面が苦手なことを限界に挙げています。

どちらを選ぶか

YOLOの論文の比較表では、PASCAL VOC 2007でのmAPは、VGG-16を使ったFaster R-CNNが73.2%、YOLOが63.4%でした。元の論文どうしでは、精度はFaster R-CNN、速さはYOLOが上回ります。

ただし、この関係はその後の改良で変わります。2016年に発表された改良版のYOLOv2は、アンカーの導入などで精度を高め、毎秒67枚の速さでVOC 2007のmAP 76.8%を報告しています。

見分けるコツ

「候補領域」「RPN」「2段階」が手がかりならFaster R-CNN、「グリッド」「一度に予測」「リアルタイム」が手がかりならYOLOです。
名前の「Faster」にまどわされないようにします。Faster R-CNNは前身のFast R-CNNより速いという意味で、元の論文どうしで比べて速いのはYOLOです。
仲間とセットで覚えます。2段階型はR-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNNのR-CNN系、1段階型はYOLOとSSDです。

◯×チェック

Faster R-CNNの名前の「Faster」は、YOLOのような1段階型の検出器よりも速く処理できることを表している。

答えを見る

答え × 誤り

Fasterは、前身のFast R-CNNより速いという意味です。候補領域の抽出をRPNに置き換えて高速化しましたが、元の論文どうしで比べると、処理の速さはYOLOが上回ります。
最初のYOLOは、Faster R-CNNと同じく、大きさや縦横比の異なるアンカーを基準にして、そこからのずれを予測することで枠を求める。

答えを見る

答え × 誤り

最初のYOLOは、グリッドの各セルが枠の中心の座標と幅・高さを直接予測し、アンカーは使いません。アンカーを取り入れたのは、改良版のYOLOv2です。
1段階型のYOLOでも、同じ物体に重なって出た複数の枠を、非最大値抑制（NMS）で整理する処理が使われる。

答えを見る

答え ◯ 正しい

大きな物体やセルの境界にある物体には、複数のセルが枠を出すことがあります。YOLOの論文では、NMSで重複を除くとmAPが2〜3%上がると報告されています。