ディープラーニングの概要（G検定 技術分野）

この分野で扱うこと

ディープラーニングが「どうやって学習するのか」を、要素ごとに学ぶ分野です。6つの中項目は、学習の1サイクルに沿って並べると関係がつかめます。

1. ニューラルネットワーク：入力層・隠れ層・出力層を重ね、重みを使って入力から出力を計算します。
2. 活性化関数：各層の出力を非線形に変換し、複雑な関係を表せるようにします。
3. 誤差関数：出力と正解のずれを1つの数値で表します。
4. 誤差逆伝播法：そのずれを出力側から入力側へさかのぼり、重みごとの勾配を求めます。
5. 最適化手法：勾配をもとに、誤差が小さくなる向きへ重みを更新します。
6. 正則化：学習データに合わせすぎる過学習を防ぎます。

学ぶ順番

上の1〜5の順に読むと、前の要素が次の要素の前提になります。正則化は、「機械学習の概要」で学んだ過学習を思い出しながら最後に読みます。最適化手法はキーワードが24語と多いので、勾配降下法の弱点を先に確認し、各手法がその何を改良したかの順で整理します。

つまずきやすいところ

勾配消失問題は、活性化関数と誤差逆伝播法のどちらの中項目にも出てくる論点です。原因と対策（ReLU関数、重みの初期値の工夫、バッチ正規化など）を1か所にまとめておくと、中項目をまたいだ問われ方にも迷いません。AdaGrad、RMSprop、Adamなどの手法名は似ているので、前の手法の弱点を補ってきた系譜として覚えます。