多層パーセプトロンとは

多層パーセプトロン（MLP）は、ディープラーニングの土台となる基本的なニューラルネットワークです。データは入力層から隠れ層を通って出力層へ、一方向にだけ流れます。各層のユニットは、前の層のすべてのユニットと結合しています（全結合）。

単純パーセプトロンからの発展

1958年にローゼンブラットが提案したパーセプトロンは、入力に重みを掛けて足し、しきい値を超えたら1を出力するモデルです。入力層と出力層だけからなるこの単純パーセプトロンは、直線や平面で2つに分けられる問題、つまり線形分離可能な問題しか解けません。たとえば、2つの入力が異なるときだけ1を出すXORは解けません。1969年にミンスキーとパパートがこの限界を指摘しました。

入力層と出力層の間に隠れ層を加えると、この限界を越えられます。隠れ層が入力を別の表し方に変換し、出力層はその表現をもとに判断するからです。

非線形の活性化関数が必要な理由

隠れ層には、シグモイド関数やReLU関数のような非線形の活性化関数を使います。活性化関数が線形のままだと、何層重ねても全体は1つの線形変換と同じになり、隠れ層を増やす意味がなくなるからです。

シグモイド関数のような活性化関数を使えば、隠れ層が1層でも、ユニットを十分に増やすことで、限られた範囲の入力に対する連続関数を望む精度で近似できます。1989年に示されたこの性質を、万能近似定理（普遍性定理）と呼びます。

学習の方法

1986年にラメルハートらが誤差逆伝播法による学習を示し、多層のネットワークを効率よく学習できることが広く知られるようになりました。誤差逆伝播法は微分を使うので、しきい値の関数の代わりに、微分できる活性化関数を使います。

隠れ層を何層も重ねたものが、ディープラーニングで使うディープニューラルネットワークです。

覚え方

「層を重ねるだけでは足りない。非線形をはさんで初めて表現が広がる」と覚えます。