LLMの規模と性能の関係｜G検定練習問題 #0222

大規模言語モデル（LLM）とその評価に関する説明として、最も不適切なものを1つ選べ。

正解と解説を見る

解説

正解D

ポイント

LLMの性能はパラメータ数だけでなく学習データの量にも左右され、計算量が一定なら両者の配分に最適な点があることが示されています。

A

適切

PaLMは、6,144個のTPU v4チップを使って学習された、デコーダ型のTransformerによる言語モデルです。多段階の推論を要するタスクなどで、当時の最高水準の性能を示しました。
B

適切

GLUEは2018年に公開され、BERTなどの事前学習モデルの比較に広く使われました。モデルのスコアが人間の基準値を上回るようになったため、より難しいSuperGLUEも作られました。
C

適切

Chain-of-Thoughtプロンプティングと呼ばれる方法です。5,400億パラメータのモデルに8個の例を示した実験では、算数の文章題で当時の最高水準の正答率が報告されました。小さなモデルでは効果が出にくいことも示されています。
D

不適切 ◯ 正解

言語モデルの損失は、パラメータ数・データ量・計算量のそれぞれに対してべき乗則で下がると報告されています（スケーリング則）。計算量が一定なら、両者の配分には最適な点があります。実際、パラメータ数を4分の1にしてデータを4倍にしたChinchillaが、同じ計算量のGopherを上回りました。

PaLMなどの代表的なLLMの特徴と、スケーリング則やChain-of-Thoughtのような規模に関わる性質を組み合わせて問う形が見られます。