事前学習済みモデルとは

事前学習済みモデルは、大量のデータであらかじめ学習を済ませたモデルです。画像ならImageNetで学習したResNetやVision Transformer、言語ならBERTやGPTが代表例です。学習済みの重みが公開されているものも多く、自分のタスクの出発点として使えます。

なぜ使うのか

大規模なモデルをゼロから学習するには、大量のデータと膨大な計算が必要です。事前学習済みモデルは、画像のエッジや形、文章の語の意味や文法といった、多くのタスクに共通する特徴をすでに身につけています。これを出発点にすれば、少ないデータと計算で、目的のタスクの精度を高めやすくなります。

使い方

• 特徴を取り出す道具として使う：重みを固定し、付け替えた出力層などだけを学習します（狭い意味の転移学習）。
• ファインチューニング：事前学習済みの重みを初期値にして、目的のデータでモデルの全体または一部を追加で学習します。
• そのまま使う：大規模言語モデルのように、追加の学習をせず、プロンプトの工夫だけで使うこともあります。

事前学習の方法

画像では、ラベル付きデータによる教師あり学習が多く使われてきました。言語では、隠した単語や次の単語を予測する自己教師あり学習が主流です。なお、シラバスの項目24では、積層オートエンコーダを1層ずつ学習してから全体を調整する、古い意味の「事前学習」も扱われています。

利用時の注意

モデルごとにライセンスがあり、商用利用を制限するものもあります。また、学習データに含まれる偏りや誤りは、そのままモデルに引き継がれます。

覚え方

「基礎研修を終えた新人に、職場の仕事だけを教える」と覚えます。