決定木とは

決定木は、データを条件で次々に分けていき、最後にたどり着いた場所（葉）で予測を出す手法です。「年齢が40歳以上か」「購入回数が3回以上か」のような質問を上から順にたどる様子が、枝分かれした木に見えることから、この名前がつきました。出力がカテゴリなら分類木、数値なら回帰木と呼びます。

分岐の決め方

学習では、どの特徴量のどの値で分けるかを、分けたあとのグループができるだけ「純粋」になるように選びます。分類木では、1つのグループに同じクラスのデータが集まっているほど純粋だと考えます。不純さを測る指標には、ジニ不純度やエントロピーがよく使われます。回帰木では、グループ内の値のばらつき（二乗誤差）が小さくなる分け方を選びます。代表的なアルゴリズムに、CART、ID3、C4.5があります。

長所と短所

長所は、予測の根拠を「この条件とこの条件を満たしたから」と人が読める形で示せることです。また、基準値との大小比較で分けるため、特徴量の単位をそろえる標準化をしなくても学習できます。

短所は、木を深くするほど学習データの細かい違いまで覚え込み、過学習しやすいことです。木の深さや、葉に含まれるデータ数の下限を制限したり、育てた木の枝を刈り込む剪定を行ったりして対策します。学習データが少し変わるだけで木の形が大きく変わる、不安定さもあります。

アンサンブル学習との関係

1本の決定木の弱点を、多数の木を組み合わせて補うのがアンサンブル学習です。決定木を独立に作って多数決や平均をとるランダムフォレストと、前の木の誤りを順に補う勾配ブースティング（勾配ブースティング決定木）は、どちらも決定木を部品にしています。

覚え方

「質問を順にたどって答えに行き着く、木の形のフローチャート」と覚えます。