ニューラルネットワークとディープラーニング（シラバス 技術11）

ニューラルネットワークの骨組み

ニューラルネットワークは、脳の神経細胞のつながりを単純化した計算の仕組みです。小さな計算単位（ユニット）を層状に並べ、層から層へ値を渡します。

• 入力層：データを受け取る層です。画像なら画素の値が入ります。
• 隠れ層：入力層と出力層の間にある層で、データの特徴を段階的に取り出します。
• 出力層：最終的な答えを出す層です。分類なら各クラスの確率、回帰なら予測値を出します。

各ユニットは、前の層からの値に重みを掛けて足し、バイアスを加えて活性化関数に通し、次の層へ渡します。学習とは、この重みとバイアスを調整することです。

単純パーセプトロンとその限界

単純パーセプトロンは、1958年にローゼンブラットが発表したモデルです。入力層と出力層だけからなり、隠れ層をもちません。入力の重み付き和がしきい値を超えれば1、超えなければ0を出力します。

できるのは、データを1本の直線（高次元では超平面）で2つに分けることだけです。直線で分けられる問題を線形分離可能といいます。

入力A	入力B	AND	OR	XOR
0	0	0	0	0
0	1	0	1	1
1	0	0	1	1
1	1	1	1	0

ANDとORは直線1本で0と1を分けられます。XOR（排他的論理和）で1になる2点は対角に並ぶため、直線1本では分けられません。1969年にミンスキーとパパートがこうした限界を示したことは、ニューラルネットワーク研究が停滞する一因になったとされます。

多層パーセプトロンからディープラーニングへ

入力層と出力層の間に隠れ層を加えたものが多層パーセプトロンです。隠れ層で入力を別の表現に変えてから出力層で分けるため、XORのような線形分離できない問題も扱えます。ただし、隠れ層の活性化関数が非線形であることが前提です。

1986年には、ラメルハートらが隠れ層の重みも誤差逆伝播法で学習できることを示しました。隠れ層をさらに何層も重ねたものがディープニューラルネットワークで、これを使う機械学習がディープラーニングです。層を深くすると表現力が増す一方、学習が難しくなり、計算量も増えます。

計算を支えるハードウェア

ニューラルネットワークの計算の大半は、「重み×入力」を大量に足し合わせる行列の計算です。1つ1つの掛け算は単純で互いに独立なので、並列処理で速くなります。

	特徴	向いている処理
CPU	少数の高性能なコアをもつ汎用の演算装置	全体の制御、複雑な分岐を含む処理を順にこなすこと
GPU	単純なコアを大量にもつ。もとは画像描画用	同じ計算の大量の並列処理。ディープラーニングの学習で広く使われる
TPU	Googleがテンソル（多次元配列）の計算向けに開発した専用プロセッサ。2016年に公表	ニューラルネットワークの大量の行列計算

GPUを画像描画以外の汎用計算に使うことをGPGPUと呼びます。GPUやTPUを使う場合も、データの読み込みや全体の制御はCPUが担います。