スキップ結合の働きと応用先

解説

正解D

選択肢ごとの解説

1. A

   適切

   F(x)＋xをxで微分すると、恒等写像の分の1が加わります。間の層の勾配が小さくても、ショートカットを通る勾配は前のブロックへそのまま伝わるため、深いネットワークでも学習が進みます。

2. B

   適切

   提案時のTransformerは、各サブ層の出力をLayerNorm(x＋Sublayer(x))の形で求めます。スキップ結合はCNNに限らず、層を深く積み重ねるモデルで広く使われています。

3. C

   適切

   U-Netは、縮小前の特徴マップをデコーダ側にコピーしてチャネル方向に連結します。ResNetのような加算ではなく連結で、画素単位の領域分割に必要な位置の情報を取り戻します。

4. D

   不適切 ◯ 正解

   スキップ結合は順伝播の計算の一部で、ブロックの出力はF(x)＋xです。推論時に外すと出力が変わります。学習時だけ使って推論時に外す経路としては、GoogLeNetの補助分類器が知られています。

試験での狙われ方

ResNetのスキップ結合が勾配の伝わり方をどう変えるかや、ほかのモデルでの使われ方（加算か連結か）を比べる形が考えられます。

関連用語

ResNet、Transformer、U-Net、GoogLeNet、勾配消失問題

参考

• G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目21 スキップ結合） 2026年10月31日閲覧
• He, Zhang, Ren, Sun, Identity Mappings in Deep Residual Networks (2016) 2026年10月31日閲覧
• Vaswani et al., Attention Is All You Need (2017) 2026年10月31日閲覧
• Ronneberger, Fischer, Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation (2015) 2026年10月31日閲覧
• Szegedy et al., Going Deeper with Convolutions (2014) 2026年10月31日閲覧