LLMを業務で使うときの性質｜G検定練習問題 #0070

あるコールセンター運営会社が、大規模言語モデル（LLM）を使って、顧客からの問い合わせへの回答案を自動で作成する仕組みを検討している。LLMの性質についての担当者の理解として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解A

ポイント

LLMはプロンプト内の例から課題をくみ取り、追加学習なしで出力を調整できます。一方で、事実の誤りや知識の古さには注意が必要です。

A

適切 ◯ 正解

プロンプト内の例から課題の形式をくみ取る性質を、文脈内学習（In-Context Learning）と呼びます。例を数件示す方法をFew-shotといい、GPT-3の論文では大きなモデルほどその効果が大きいことが示されました。
B

不適切

LLMが持つ知識は、事前学習に使ったデータの時点までのものです。最新の料金表などは、プロンプトに資料を含めたり、社内文書を検索して渡す仕組み（RAG）を組み合わせたりして補う必要があります。
C

不適切

LLMは文章を検索して貼り合わせるのではなく、学習で得た確率にもとづいて次の語を1つずつ生成します。そのため学習データが正確でも、事実と異なる内容をもっともらしく出力することがあります（ハルシネーション）。顧客に出す前に人が確認する運用が必要です。
D

不適切

LLMの事前学習は、大量の文章で次の語を予測する自己教師あり学習です。正解は文章そのものから作れるため、人手のラベルは要りません。人が作ったデータは、その後に指示へ従うよう調整する段階（RLHFなど）で比較的少量使われます。

ハルシネーションや知識の時点の限界、Few-shotなどの使い方を、業務の場面に当てはめて問う形が見られます。