ジョルダンネットワークとは

ジョルダンネットワークは、Michael I. Jordanが1986年の技術報告「Serial Order: A Parallel Distributed Processing Approach」で示した、初期の再帰型ニューラルネットワーク（RNN）です。もとは、人が一連の動作を正しい順序で行うしくみを説明する、認知科学のモデルとして提案されました。

しくみ

入力層・隠れ層・出力層に加えて、状態層（state units）を持ちます。各時刻の出力層の値は状態層に戻され、次の時刻には入力と状態層の値が一緒に隠れ層へ入ります。つまり、ネットワークは「自分が直前に何を出力したか」を手がかりに、次の出力を決めます。原論文では、入力にあたる部分は、どの系列を実行するかを表す「計画（plan）」のユニットと呼ばれています。

状態層の各ユニットは、1より小さい重みで自分自身に戻る結合も持ちます。そのため状態層の値は、過去の出力を古いものほど小さな重みで混ぜた平均のようになり、遠い過去の出力も弱まりながら残ります。原論文では、これらの戻りの結合の重みは固定し、状態と計画から出力を作る部分だけを学習させています。

エルマンネットワークとの違い

1990年のエルマンネットワークは、出力層ではなく隠れ層の値を戻します。ジョルダン型が次の時刻へ渡せるのは、表に出た出力だけです。エルマン型は、出力に現れない内部の状態も渡せます。現在の標準的なRNNは、エルマン型に近い構造です。

教師強制との関係

Jordanの原論文では、学習中に実際の出力の代わりに望ましい出力（正解）を状態層へ戻す方法も試し、こちらのほうが少ない試行回数で学習できたと報告しています。性能を確かめるときは、実際の出力を戻します。これは、のちに教師強制と呼ばれる方法です。

覚え方

「ジョルダンは出力を戻す」と覚えます。年代も、ジョルダン（1986年）が先、エルマン（1990年）が後です。