シグモイド関数とソフトマックス関数の違い

シグモイド関数

シグモイド関数は、1つの入力を0から1の間の値に変換するS字形の関数です。入力が0のとき0.5を出し、入力が大きいほど1に、小さいほど0に近づきます。出力を「当てはまる確率」として読めるので、2値分類の出力層で使います。出力層を1ユニットにして「不良品である確率」を出し、0.5以上なら不良品と判定する、といった使い方です。

1枚の画像に「屋外」「人物」「夜景」のような複数のタグを付ける判定では、タグごとにシグモイド関数を使います。各タグの確率は独立に決まるので、2つのタグに同時に高い確率を出せます。

ソフトマックス関数

ソフトマックス関数は、K個の入力をまとめて受け取り、それぞれを指数関数で正の値にしてから、全体の合計で割ります。出力はどれも0から1の間で、合計はちょうど1です。入力の大小の順番はそのまま保たれます。「犬」「猫」「鳥」のうち1つだけを選ぶ多クラス分類の出力層で使い、誤差関数には交差エントロピーを組み合わせるのが定番です。合計が1に固定されるため、あるクラスの確率が上がれば、ほかのクラスの確率の合計はその分だけ下がります。

2つの関係と選び方

2クラスの場合、ソフトマックス関数で求めた一方のクラスの確率は、2つの入力の差をシグモイド関数に入れた値と一致します。そのため2値分類は、1ユニットのシグモイド関数でも2ユニットのソフトマックス関数でも表せます。

違いが効いてくるのは3クラス以上のときです。クラスが互いに排他的ならソフトマックス関数、複数のクラスが同時に当てはまりうるならクラスごとのシグモイド関数を選びます。なお、シグモイド関数の微分は最大でも0.25です。隠れ層に使うと、層をさかのぼるたびに勾配が小さくなりやすいので、現在の隠れ層では主にReLU関数が使われます。