大規模言語モデルとは

大規模言語モデル（LLM：Large Language Model）は、膨大な量の文章を学習した、パラメータ数がきわめて多い言語モデルです。言語モデルとは、単語の並びがどれくらい自然かを確率で表すモデルで、文章の続きを予測できます。代表例に、OpenAIのGPTシリーズや、Googleが2022年に発表したPaLM（5,400億パラメータ）があります。

学習の流れ

1. 事前学習：Web上の文章や書籍など大量のテキストで、「それまでの単語の並びから次の単語を予測する」課題を繰り返し解きます。正解は文章そのものから作れるので、人手のラベルは要りません。構造には、主にTransformerのデコーダが使われます。
2. 指示チューニング：「指示」と「望ましい回答」の組を学習させ、指示に従って答えられるようにします。
3. 人間のフィードバックによる強化学習（RLHF）：複数の回答を人間が比べて順位を付け、その評価を学んだ報酬モデルの点数が高くなるように、モデルを調整します。

2と3は、OpenAIのInstructGPTやChatGPTで使われ、対話型のAIが広まるきっかけになりました。

規模がもたらした性質

2020年のGPT-3（1,750億パラメータ）は、プロンプトの中にいくつかの例を示すだけで、パラメータを更新しなくても新しいタスクをこなせることを示しました（Few-shot）。モデルを大きくし、学習データを増やすほど性能が上がる傾向も知られています。

課題

• もっともらしい誤りを含む文章を生成することがあります（ハルシネーション）。
• 学習データを集めた時点より後の出来事は知りません。
• 学習データに含まれる偏りを再現するおそれがあります。
• 学習と運用に、大きな計算資源と電力を必要とします。

業務で使うときは、出力を人が確認する手順や、信頼できる文書を検索して回答の根拠にする仕組みと組み合わせるのが一般的です。