全結合層とは

全結合層は、前の層のすべてのユニットが、次の層のすべてのユニットとつながっている層です。英語ではfully connected layerといいます。ライブラリでは呼び名が異なり、KerasではDense層、PyTorchではLinear層として用意されています。

何を計算するか

出力側の各ユニットは、すべての入力にそれぞれの重みを掛けて足し合わせ、バイアスを加えます。計算の形から、アフィン変換とも呼ばれます。重みとバイアスは、どちらも学習で決まるパラメータです。

活性化関数とセットで使う理由

全結合層の計算は線形関数です。線形関数は何回重ねても1つの線形関数にまとまるため、全結合層だけを重ねても表現力は増えません。そこで、全結合層の間に非線形の活性化関数を挟みます。

どこで使われるか

• 多層パーセプトロン：全結合層と活性化関数を交互に重ねたネットワークです。
• CNNの出力側：畳み込み層などで取り出した特徴を、全結合層でクラスごとの得点にまとめます。2013年のNetwork In Networkは、ここをグローバルアベレージプーリングに置き換えると過学習しにくくなると主張しました。
• Transformer：各層に、2つの全結合層の間にReLU関数を挟んだ部分があります。系列のどの位置にも、同じ重みを使います。

名前の似たFCNとの違い

FCN（Fully Convolutional Network）は、全結合層をもたない全層畳み込みネットワークです。分類用のCNNの全結合層を畳み込み層に置き換え、任意の大きさの画像から画素ごとの予測を出せるようにしました。

覚え方

「全員と握手する全結合層。重ねるなら間に活性化関数」と覚えます。