アンサンブル学習とは

アンサンブル学習は、「1人の判断より、複数の意見をまとめたほうが当たりやすい」という考え方を機械学習に取り入れた手法です。1つひとつは精度がそれほど高くないモデル（弱学習器）でも、うまく組み合わせると精度が上がります。表形式のデータを扱う実務で、広く使われています。

なぜ精度が上がるのか

モデルの誤りがばらばらなら、多数決や平均をとるうちに打ち消し合います。そのため、組み合わせるモデルには多様性が必要です。同じデータで同じように学習したモデルを集めても、誤り方が似ていて効果はほとんどありません。

バギング

学習データから重複を許して無作為に取り出す、ブートストラップサンプリングを繰り返します。少しずつ異なる学習データで複数のモデルを独立に学習し、分類なら多数決、回帰なら平均で予測をまとめます。主に予測のばらつき（バリアンス）を抑え、過学習しやすい決定木を安定させます。各モデルを並列に学習できるのも利点です。

決定木のバギングに、分岐に使う特徴量も無作為に選ぶ工夫を加えたのがランダムフォレストです。

ブースティング

モデルを1つずつ順番に学習します。前のモデルが誤ったデータを重視したり、それまでの予測の誤差を埋めるように次のモデルを作ったりします。主に予測の偏り（バイアス）を減らします。代表例は、誤ったデータの重みを増やすAdaBoostと、損失関数の勾配を使って誤差を補う勾配ブースティングです。順番に学習するため並列化しにくく、追加しすぎると過学習することがあります。

そのほかの組み合わせ方

複数のモデルの予測を入力として、最終的な予測を出す別のモデル（メタモデル）を学習させるスタッキングもあります。決定木とニューラルネットワークのように、種類の異なるモデルを組み合わせることもできます。

覚え方

「バギングは並列に多数決、ブースティングは直列に弱点補強」と覚えます。