カーネル（畳み込み）とは

カーネルは、CNN（畳み込みニューラルネットワーク）の畳み込み層で使う、3×3や5×5などの小さな重みの配列です。シラバスでは「カーネル」が教師あり学習と畳み込み層の両方に出てくるため、このページではSVMのカーネルと区別して「カーネル（畳み込み）」と表記しています。

畳み込みでの働き

カーネルを入力画像の左上に重ね、重なった画素の値とカーネルの値を掛け合わせて合計します。この合計にバイアスを加えた値が、出力の1マスになります。カーネルを少しずつずらしながら同じ計算を繰り返すと、特徴マップができあがります。カーネルが表す模様に似た部分ほど、大きな値が出ます。

従来の画像処理では、縦のエッジを強調するSobelフィルタのように、カーネルの値を人が設計していました。CNNでは、カーネルの値は重みとして誤差逆伝播法で学習されます。人が決めるのは、カーネルの大きさや枚数です。

フィルタとの関係

カーネルとフィルタは、ほぼ同じ意味で使われることの多い言葉です。厳密には、カラー画像のように複数のチャネルをもつ入力では、チャネルごとのカーネルを束ねたものを1枚のフィルタと呼びます。3チャネルの入力に3×3のフィルタを使うなら、1枚あたり3×3×3＝27個の重みをもちます。フィルタの枚数が、出力される特徴マップのチャネル数になります。

大きさの選び方

カーネルが大きいほど一度に広い範囲を見られますが、重みが増えます。VGGは3×3の小さなカーネルを何層も重ね、少ない重みで広い範囲を見る構成をとりました。出力の縦横の大きさは、入力の大きさをW、カーネルの大きさをK、パディングをP、ストライドをSとして、(W + 2P − K) ÷ S + 1で求めます。割り切れないときは、割り算の結果の小数点以下を切り捨てます。

SVMのカーネルとの違い

SVMのカーネルは、データを高次元の空間に写したときの内積を、写像を計算せずに求める関数のことで、別物です。

覚え方

「画像の上をすべっていく、小さな重みの窓」と覚えます。