Zero-shotとFew-shotの違い｜与える例の数と重みを更新しない点

結論

Zero-shotは、解きたいタスクの例を1つも与えず、指示やクラス名などの説明だけを手がかりに推論させる方式です。Few-shotは少数の例を与えてから推論させる方式で、大規模言語モデルのプロンプトで使う場合は、Zero-shotと同じくモデルの重みを更新しません。

比較表

Zero-shotとFew-shotの違いの比較表
観点	Zero-shot	Few-shot
与える例の数	0（指示やクラス名などの説明だけ）	少数。GPT-3の論文の評価では、多くの場合10〜100個
大規模言語モデルでの使い方	「次の文を英語に訳してください」のように指示だけを書く	入力と答えの組を数個並べ、最後に本番の入力を置く
画像認識での例	CLIPで、クラス名を「〇〇の写真」という文にし、画像と最も近い文のクラスを選ぶ	クラスごとに数枚の画像だけを与え、新しいクラスを見分ける（N-way K-shotの課題）
重みの更新	しない	プロンプトで例を与える使い方ではしない。メタ学習などで数回だけ更新する方法もある
強み	例を集めて用意する手間がかからない	出力の形式や判断の基準を、例で具体的に伝えられる
弱み	形式があいまいなタスクでは、説明だけでは意図が伝わりにくい	例の選び方や並べ方で結果が変わることがある。例が増えるほどプロンプトが長くなる
例が1つの場合	例を1つでも与えればZero-shotではない（One-shotと呼ぶ）	One-shotとして別に扱う。シラバスもFew-shotとOne-shotを別のキーワードに挙げている
シラバス項目	技術分野項目32 マルチモーダル	技術分野項目31 転移学習・ファインチューニング
G検定での問われ方	例を1つも与えない点でのOne-shot・Few-shotとの区別、CLIPがラベル付きデータなしで分類する仕組み	与える例の数による区別、重みを更新しない点でのファインチューニングとの違い

それぞれの説明

Zero-shotとFew-shotは、新しいタスクに対して例をいくつ与えるかで区別する言葉です。「ショット」は与える例の数を表し、例が0ならZero-shot、1つならOne-shot、少数ならFew-shotです。どちらも、事前学習で幅広い知識を身につけたモデルを使うことが前提になります。

Zero-shot

Zero-shotでは、解きたいタスクの例を1つも与えません。代わりに、指示やクラス名などの説明を与えます。大規模言語モデルなら、「次の文を英語に訳してください」と書くだけです。

画像ではCLIPが代表例です。クラス名を「〇〇の写真」という文にし、画像と最も近い文を選んで分類します。CLIPの論文は、ImageNetの学習用画像約128万枚を1枚も使わずに、それらで学習した元のResNet-50と同等の精度を示しました。例を集める手間はかかりませんが、出力の形式などが説明だけでは伝わりにくいことがあります。

Few-shot

Few-shotでは、少数の例を与えます。大規模言語モデルでは、入力と答えの組をいくつかプロンプトに並べ、最後に本番の入力を置きます。2020年のGPT-3の論文はこの使い方をFew-shotと呼び、評価では多くの場合10〜100個の例を使いました。例で形式や基準を具体的に示せるため、Zero-shotより精度が上がることが多くあります。ただし、例の選び方や並べる順番で結果が変わることも報告されています。

画像認識などでは、クラスごとに数枚の画像だけで新しいクラスを見分ける課題もFew-shotと呼びます。こちらでは、メタ学習で身につけた初期値から、少ない回数だけ重みを更新する方法も使われます。

ファインチューニングとの違い

プロンプトで例や指示を与えるZero-shotとFew-shotは、どちらもモデルの重みを更新しません。多くの場合、数千件以上のラベル付きデータで重みを更新するファインチューニングとは、この点が異なります。例の数と、重みを更新するかどうかの2点を押さえると、選択肢を見分けやすくなります。

見分けるコツ

「ショット」は与える例の数です。0ならZero-shot、1つならOne-shot、少数ならFew-shotと、数で見分けます。
Zero-shotでも、指示やクラス名という説明は与えます。「何の情報も与えずに解く」という意味ではありません。
プロンプトで例を見せても重みは変わりません。多くのラベル付きデータで重みを更新するならファインチューニングで、Few-shotとは別の方法です。

◯×チェック

Zero-shotとは、モデルが事前学習の段階も含めて一度もデータを見ていない状態で、推論させることを指す。

答えを見る

答え × 誤り

Zero-shotの「ゼロ」は、解きたいタスクの例の数です。モデルは事前学習で幅広い知識を得ており、その知識と指示やクラス名を手がかりに推論します。
大規模言語モデルにFew-shotで例を示すとき、同じ例を使っても、並べる順番を変えるだけで精度が大きく変わることがある。

答えを見る

答え ◯ 正しい

GPT-3などを使った実験で、例の選び方やプロンプトの形式に加え、例の順番によっても、精度が当て推量に近い水準から最高水準に近い水準まで変わりうると報告されています（Zhaoら、2021年）。
ラベル付きの例をまったく用意できない新しい分類タスクでも、Zero-shotであれば試すことができる。

答えを見る

答え ◯ 正しい

Zero-shotではクラス名や指示などの説明だけを与えるため、例を集める前でも使えます。精度が足りなければ、数個の例を用意してFew-shotを試します。