BERTとGPTの違い｜エンコーダとデコーダ、学習課題の違い｜G検定

結論

BERTは、Transformerのエンコーダを使い、文中の隠した単語を前後両方の文脈から当てる課題などで事前学習したモデルで、文章の理解を要するタスクに強みがあります。GPTは、Transformerのデコーダを使い、前の単語から次の単語を順に予測する課題で事前学習したモデルで、文章の生成に向いています。

比較表

BERTとGPTの違いの比較表
観点	BERT	GPT
発表	Google（2018年）	OpenAI（最初のモデルは2018年）
名前の意味	Bidirectional Encoder Representations from Transformers	Generative Pre-trained Transformer
使うTransformerの部分	エンコーダ	デコーダ（Source-Target Attentionを除いた構造）
各単語が参照できる文脈	前と後ろの両方	前だけ（後ろの位置はマスクで隠す）
事前学習の課題	マスク言語モデル（MLM）と次文予測（NSP）	次の単語（トークン）の予測
得意なタスク	文書分類、質問応答での答えの範囲の抽出、固有表現の抽出など、文章の理解	文章の続きの生成、対話、要約など、文章の生成
タスクへの使い方	出力層を加え、ラベル付きデータでファインチューニングする	最初のGPTはファインチューニング。GPT-3以降は、プロンプトに例を示すだけで使う方法も広がった
シラバス項目	技術分野項目27 自然言語処理（キーワード「BERT」）	技術分野項目27 自然言語処理（第1.4版でキーワード「GPT-n」は削除。「大規模言語モデル(LLM)」の代表例）

それぞれの説明

BERTとGPTは、どちらもTransformerを土台に、大量の文章で事前学習した言語モデルです。違いは、Transformerのどちら側を使い、どんな課題で事前学習するかにあります。

BERT

BERTは、2018年にGoogleが発表したモデルです。Transformerのエンコーダを積み重ねた構造で、各単語の表現を作るときに、前と後ろの両方の単語を参照します。名前のBidirectional（双方向）は、この性質を指しています。

事前学習では、入力の単語の約15%を予測の対象に選び、その多くを[MASK]という記号に置き換えて、元の単語を前後の文脈から当てさせます。2つの文が本当に続いているかを判定する次文予測も組み合わせました。その後、タスクに合わせた出力層を加え、ラベル付きデータでモデル全体をファインチューニングします。文書分類や、質問応答での答えの範囲の抽出など、文章の理解を要するタスクで高い性能を示しました。

GPT

GPTは、OpenAIが2018年に最初のモデルを発表したシリーズです。Transformerのデコーダ側を積み重ねた構造で、各単語は自分より前の単語だけを参照します。

事前学習では、文章の先頭から順に、次の単語を予測します。予測した単語を入力に加えて次を予測することを繰り返せば、文章を生成できます。最初のGPTは、BERTと同じくファインチューニングで文の分類などに使われました。GPT-3以降は規模を大きくし、プロンプトに少数の例を示すだけでタスクをこなす使い方が注目されました。

2つの関係

BERTの論文は、比較のためにBERT-Baseの大きさを最初のGPTとそろえ、前後両方を参照する事前学習の効果を示しました。一方、文章を生成する用途では、前から順に予測するGPTの方式が広く使われています。G検定のシラバス第1.4版では、キーワードから「GPT-n」が削除されました。GPT系のモデルは、キーワード「大規模言語モデル(LLM)」の代表例として押さえておきます。

見分けるコツ

名前で覚えます。BERTのBはBidirectional（双方向）、EはEncoderです。GPTのGはGenerative（生成的）です。
事前学習の課題で見分けます。「隠した単語を前後から当てる穴埋め」はBERT、「次の単語を順に予測する続き書き」はGPTです。
「BERTは理解専用、GPTは生成専用」と言い切る選択肢に注意します。最初のGPTも、ファインチューニングで文の分類などの理解系タスクに使われました。違いは向き不向きです。

◯×チェック

GPTの事前学習では、文中のランダムな位置の単語を隠し、その単語を前後の文脈から当てる課題を解かせる。

答えを見る

答え × 誤り

前後の文脈から隠した単語を当てるのは、BERTのマスク言語モデルです。GPTは、文章の先頭から順に、それまでの単語だけを手がかりに次の単語を予測します。
BERTの論文では、比較のため、BERT-Baseのモデルの大きさを最初のGPTとそろえていた。

答えを見る

答え ◯ 正しい

どちらも12層のTransformerです。大きさをそろえたうえで、前後両方を参照する事前学習の効果を示し、GLUEで比較したすべてのタスクで最初のGPTを上回る結果を報告しました。
BERTをタスクに合わせてファインチューニングするときは、追加した出力層だけでなく、事前学習済みの部分の重みも含めて全体を追加学習する。

答えを見る

答え ◯ 正しい

BERTの論文の基本の使い方は、全パラメータのファインチューニングです。事前学習済みの部分を固定し、取り出した表現を別のモデルの入力に使う方法は、特徴量ベースの使い方と呼ばれます。