バギングとブースティングの違い

バギング

バギングは、bootstrap aggregatingの略で、1996年にブレイマンが提案しました。元の学習データから重複を許してランダムに抜き出すブートストラップサンプリングで、中身が少しずつ違うデータセットを複数作ります。それぞれで同じ種類のモデルを独立に学習させ、分類なら多数決、回帰なら平均で予測をまとめます。

深く育てた決定木のように、学習データが少し変わるだけで予測が大きく変わるモデルと組み合わせると効果が出ます。個々の予測のばらつきが平均で打ち消し合い、全体の予測が安定するからです。各モデルは独立しているので、並列に学習できます。ランダムフォレストは、分岐ごとに使う特徴量の候補も無作為に絞り込み、決定木どうしが似るのを防いだ発展形です。

ブースティング

ブースティングは、単独では精度の低い弱学習器を1つずつ追加し、前のモデルが苦手としたデータを次のモデルが重点的に学ぶ手法です。AdaBoostは、誤って予測したデータの重みを大きくして次の学習器を学習させ、最後は精度の高い学習器ほど重く数える多数決で予測します。勾配ブースティングは、それまでの予測の誤差を減らす方向を、次の決定木に学習させます。

単純なモデルを積み重ねて表現力を補うので、主にバイアスを減らします。一方、前の誤りに合わせ続けるため、ノイズの多いデータでは過学習しやすくなります。学習率や学習器の数は、検証データでの性能を見ながら調整します。

学習器を順に追加するので、学習器単位では並列化できません。XGBoostやLightGBMは、勾配ブースティングを高速に計算できるよう工夫した実装で、表形式のデータの予測で広く使われています。