オートエンコーダ（シラバス 技術24）

圧縮して元に戻す仕組み

オートエンコーダは、入力を小さな表現に圧縮するエンコーダと、そこから入力を復元するデコーダをつないだニューラルネットワークです。出力が入力にできるだけ近づくように学習します。正解は入力そのものなので、正解ラベルを用意する必要がありません。

基本の形では、真ん中の層のユニット数を入力より少なくします。この層の値（潜在変数）は、入力を復元するのに必要な情報を、少ない数値で表したものです。

主な使い道

• 次元削減：潜在変数を元のデータの要約として使います。活性化関数をすべて線形にして二乗誤差で学習すると、主成分分析(PCA)と同じ空間に圧縮することが知られています。非線形にすれば、より複雑な構造をとらえられます。
• 異常検知：正常なデータだけで学習すると、異常なデータはうまく復元できません。復元誤差が大きいものを異常と判断します。
• ノイズ除去：ノイズを加えた入力から、元のきれいなデータを復元するように学習させます。

積層オートエンコーダと事前学習

2000年代半ばまで、層の深いネットワークは勾配消失などのためにうまく学習できませんでした。2006年にヒントンらが、層ごとに順番に学習してから全体を調整する方法を示し、積層オートエンコーダもこの流れで広まりました。

1. 入力に近い層から、1層ずつオートエンコーダとして学習します（事前学習）。
2. 学習した層の出力を入力にして、次の層を同じように学習します。
3. 積み上げたエンコーダの最後に出力層を加え、ラベル付きのデータでネットワーク全体を調整します（ファインチューニング）。

事前学習でよい重みの初期値が得られ、深いネットワークでも学習が進むようになりました。現在は、ReLU関数や重みの初期化の工夫、正規化層などで深いネットワークを直接学習できるため、この方法はあまり使われません。

変分オートエンコーダ(VAE)

VAEは、エンコーダが潜在変数の確率分布（正規分布の平均と分散）を出力するオートエンコーダで、2013年にキングマとウェリングが提案しました。損失は、復元誤差と、潜在変数の分布を標準正規分布に近づけるためのKL情報量の和です。

この学習で潜在空間がなめらかに整い、学習後は、標準正規分布から取り出した値をデコーダに通すだけで、新しいデータを生成できます。

VAEの派生手法

手法	変えた点	ねらい
β-VAE	KL情報量の項に1より大きい重みβをかける	向きや明るさなど、要因ごとに分かれた潜在変数を得る
VQ-VAE	潜在変数を、学習した代表ベクトルの集まり（コードブック）のうち最も近いものに置き換える	離散的な表現で、質の高い画像や音声を生成する
info VAE	入力と潜在変数の相互情報量を保つように目的関数を変える	デコーダが潜在変数を無視してしまう問題などを抑える

β-VAEは、βを大きくするほど要因が分かれやすくなる一方、復元の精度は下がりやすくなります。