バッチ正規化とレイヤー正規化の違い｜平均と分散を計算する範囲の違い

結論

バッチ正規化は、ミニバッチ内の複数のサンプルにまたがって、特徴（チャネル）ごとに平均と分散を求めて値をそろえます。レイヤー正規化は、1つのサンプルの中で、その層のすべてのユニットをまとめて平均と分散を求めるため、バッチサイズに左右されません。

比較表

バッチ正規化とレイヤー正規化の違いの比較表
観点	バッチ正規化	レイヤー正規化
英語	batch normalization	layer normalization
提案	2015年（IoffeとSzegedy）	2016年（Baら）
平均と分散を計算する範囲	ミニバッチ内の複数のサンプルにまたがり、特徴（チャネル）ごと	1つのサンプルの中で、その層のすべてのユニットをまとめて
バッチサイズの影響	小さいと統計量の推定がぶれ、学習が不安定になりやすい	受けない（バッチサイズ1でも同じ計算）
推論時の統計量	学習中に移動平均などで記録しておいた値を使う	入力されたサンプルからその場で計算する（学習時と同じ）
そろえた後の処理	学習するパラメータγとβで拡大・平行移動する	同じく、学習するパラメータγとβで拡大・平行移動する
主な使用先	CNN（畳み込み層の直後など）	RNN、Transformer（BERTやGPT系を含む）
シラバス項目	技術分野項目19 正規化層	技術分野項目19 正規化層

それぞれの説明

バッチ正規化

バッチ正規化は、2015年にIoffeとSzegedyが提案しました。学習はミニバッチ単位で進みます。バッチ正規化は、そのミニバッチに含まれる複数のサンプルの値を特徴（CNNではチャネル）ごとに集めて平均と分散を求め、平均0・分散1にそろえます。

各層への入力の大きさがそろうので、大きめの学習率でも発散しにくくなり、学習が速く進みます。ただし、統計量がほかのサンプルに依存するため、ミニバッチが小さいと推定がぶれます。また、推論では1件ずつ予測することもあるので、学習中に記録しておいた平均と分散を使います。学習時と推論時で計算が変わる点が特徴です。

レイヤー正規化

レイヤー正規化は、2016年にBaらが提案しました。1つのサンプルの中で、その層のすべてのユニットの値をまとめて平均と分散を求めます。ほかのサンプルを使わないので、バッチサイズが1でも同じ計算ができます。学習時と推論時の計算も同じです。

時刻ごとに計算し、系列の長さもデータごとに違うRNNと相性がよい手法です。現在はTransformerの標準的な部品で、元のTransformerでは、各サブ層の出力に入力を足し合わせた後に置かれています。

共通点と使い分け

どちらも、そろえた値に学習するパラメータ（γとβ）で拡大と平行移動を加えてから、次の層へ渡します。違うのは、平均と分散を計算する範囲です。

目安として、CNNではバッチ正規化、RNNやTransformerではレイヤー正規化が使われます。CNNでもバッチサイズを大きく取れないときは、チャネルをいくつかのグループに分けて計算するグループ正規化が選ばれます。

見分けるコツ

どの向きに平均をとるかで見分けます。複数のサンプルを見比べて特徴ごとにそろえるならバッチ正規化、1つのサンプルの中だけでそろえるならレイヤー正規化です。
推論時の扱いが分かれ目になります。学習中に記録しておいた統計量を推論で使うのは、バッチ正規化のほうです。
問題文に「バッチサイズを小さくしか取れない」とあれば、レイヤー正規化やグループ正規化を選ぶ場面です。「系列の長さがデータごとに違う」RNNやTransformerなら、レイヤー正規化です。

◯×チェック

レイヤー正規化では、同じミニバッチに含まれるほかのサンプルの値が、あるサンプルの正規化の結果に影響する。

答えを見る

答え × 誤り

レイヤー正規化は、1つのサンプルの中だけで平均と分散を計算します。ほかのサンプルの値が影響するのは、ミニバッチ全体で統計量を求めるバッチ正規化です。
メモリの制約でミニバッチを数件程度にしか取れない場合、バッチ正規化は平均と分散の推定がぶれて、性能が下がりやすい。

答えを見る

答え ◯ 正しい

少ないサンプルから求めた統計量はぶれが大きくなります。こうした場面では、サンプルごとに計算するレイヤー正規化やグループ正規化が候補になります。
レイヤー正規化は、平均0・分散1にそろえた後に、学習するパラメータによる拡大と平行移動を行わない点がバッチ正規化と異なる。

答えを見る

答え × 誤り

どちらも、そろえた後に学習するパラメータ（γとβ）で拡大と平行移動を加えます。2つの違いは、平均と分散を計算する範囲です。