エポックとは

エポックは、学習がどこまで進んだかを数える単位です。訓練データのすべてを1回ずつ使い切ると「1エポック」と数えます。「30エポック学習した」は、訓練データ全体を30周したという意味です。

イテレーションとの違い

ニューラルネットワークの学習では、データをいくつかずつまとめて勾配を計算し、重みを更新します。重みを1回更新する単位をイテレーションと呼びます。ミニバッチ学習では、1エポックあたりのイテレーション数は次の式で決まります。

• 1エポックのイテレーション数 ＝ 訓練データ数 ÷ バッチサイズ

1万件のデータをバッチサイズ100で学習すると、1エポックは100イテレーションです。バッチサイズを大きくすると、1エポックあたりの更新回数は減ります。割り切れない場合の端数の扱いは、実装によって異なります。

学習方法による違いも押さえておきます。データ全体で1回だけ勾配を計算するバッチ学習では、1エポックの更新は1回です。1件ずつ更新するオンライン学習では、1エポックでデータ数と同じ回数だけ更新します。

なぜ何周もするのか

勾配降下法は、1回の更新で重みを少しずつしか動かしません。1周だけでは誤差が十分に下がらないため、同じデータを何周も使います。エポックごとにデータの順番を並べ替え（シャッフルし）、ミニバッチの組み合わせを変えることもよく行われます。

エポック数の決め方

エポック数は、設計者が決めるハイパーパラメータです。少なすぎると学習が足りません。多すぎると、訓練データに合わせすぎる過学習が起きます。そこで、エポックごとに検証データで誤差を測り、悪化し始めたところで学習を止める早期終了がよく使われます。

覚え方

「エポックは周回数、イテレーションは更新回数」と覚えます。