主成分分析（PCA）とt-SNEの違い

主成分分析とt-SNEは、どちらも変数の多いデータを少ない次元で表す次元削減の手法です。ただし、何を保とうとするかが違うため、向いている用途も異なります。

主成分分析

主成分分析（PCA）は、データのばらつき（分散）が最も大きい方向を第1主成分とし、それと直交する方向の中で分散が最も大きい方向を第2主成分とする、という手順で新しい軸を取り直します。計算上は、共分散行列の固有値と固有ベクトルを求めることにあたります。

線形の変換なので、各主成分は元の変数の重み付きの和で表せ、何を表す軸かを解釈しやすいのが長所です。寄与率を見れば、残した主成分で元のばらつきをどれだけ保てたかもわかります。求めた方向に射影するだけで新しいデータにも適用できるので、モデルに入れる特徴量を減らす前処理にも使えます。一方、曲がった面の上に並ぶような非線形の構造は、少ない主成分ではうまく表せません。

t-SNE

t-SNEは、2008年にファン・デル・マーテンとヒントンが発表した非線形の手法です。元の空間でのデータどうしの近さを確率で表し、2次元や3次元の図の上でも同じ近さの関係になるように点の位置を動かします。図の側の近さには裾の重いt分布を使い、まとまりどうしをはっきり分けて見せます。

近いデータどうしの関係を優先して保つため、まとまりを見つける可視化に向いています。その代わり、図の軸には意味がなく、クラスタの大きさやクラスタ間の距離もそのままは解釈できません。結果は乱数の初期値やパープレキシティによって変わり、新しいデータを加えるときは計算をやり直します。

組み合わせて使う

2つは、どちらか一方だけを選ぶ関係とは限りません。t-SNEの提案論文でも、先に主成分分析で30次元まで減らしてから、t-SNEで2次元の図を作っています。