ReLU関数とは

ReLU関数（Rectified Linear Unit）は、ニューラルネットワークの隠れ層で最もよく使われている活性化関数の1つです。式はf(x) = max(0, x)です。入力が正ならその値をそのまま通し、0以下なら0にします。グラフは、原点で折れ曲がった1本の折れ線になります。ランプ関数とも呼ばれます。

勾配消失に強い理由

誤差逆伝播法では、各層の活性化関数の微分（傾き）を掛け合わせながら、出力層から入力層へ勾配を伝えます。シグモイド関数の微分は最大でも0.25なので、層を重ねるほど勾配が小さくなります。これに対してReLU関数の微分は、入力が正の範囲では常に1です。活性化関数の部分で勾配が縮まないため、深いネットワークでも入力層に近い層まで学習が進みやすくなります。

計算が軽いことも利点です。入力を0と比べるだけなので、指数関数を使うシグモイド関数やtanh関数より速く計算できます。2010年前後の研究で深いネットワークでの有効性が示され、2012年のAlexNetでも採用されました。

弱点

入力が負の範囲では、出力も微分も0です。学習の途中で、あるユニットへの入力が常に負になると、そのユニットは0しか出力せず、重みも更新されなくなります。これは「dying ReLU」と呼ばれます。負の範囲にも0.01倍などの小さな傾きを持たせたLeaky ReLU関数は、この弱点を補う改良版です。なお、入力がちょうど0の点では微分できませんが、実装上は微分を0などと決めて扱います。

また、出力に上限がなく、確率として読める形にもなりません。そのため、分類の出力層ではシグモイド関数やソフトマックス関数を使い、ReLU関数は主に隠れ層で使います。

覚え方

「マイナスは切り捨て、プラスは素通し」と覚えます。