AlexNetの学習の工夫

2012年のILSVRCで優勝したAlexNetで用いられた工夫として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解A

ポイント

AlexNetはReLU関数、ドロップアウト、データ拡張、GPUによる学習などを組み合わせ、深いCNNを大規模データで実用的に学習させました。

選択肢ごとの解説

  1. A

    適切 ◯ 正解

    ReLU関数は正の入力に対して勾配が1のままで、tanh関数のように出力が頭打ちになりません。AlexNetの論文では、tanh関数を使う場合より数倍速く学習が進むことが示されました。

  2. B

    不適切

    バッチ正規化が提案されたのは2015年で、AlexNetより後です。AlexNetでは、近くのチャネルの出力どうしで値を正規化する局所応答正規化(LRN)を使っていました。

  3. C

    不適切

    入力を足し合わせるスキップ結合で深いネットワークを実現したのは、2015年のResNetです。AlexNetは畳み込み層5層と全結合層3層からなる8層の構造でした。

  4. D

    不適切

    AlexNetは最後に3層の全結合層をもち、パラメータの大部分がそこに集中していました。全結合層の代わりにGlobal Average Poolingを使う設計は、Network In NetworkやGoogLeNetで取り入れられました。

試験での狙われ方

AlexNetの工夫は、後に登場したバッチ正規化やスキップ結合と混同させる形で問われやすい論点です。年代の順序と合わせて整理しておくと区別しやすくなります。

関連用語

AlexNet、ReLU関数、バッチ正規化、グローバルアベレージプーリング、ドロップアウト

参考

オリジナル問題(過去問ではありません) AIで作成 人による確認:未 誤りを報告

出典と作成について

作成:ウカトレ編集部(AIで作成し、別のAIが一次資料と照合。手順は編集方針)

公開日: 最終更新日: 最終確認日:

シラバス第1.4版 技術26「画像認識」の問題です。

改訂履歴

表示設定

テーマ
文字の大きさ
問題演習