G検定 まとめシート(チートシート)

試験直前に見返す要点を、10分野ごとにまとめました。

1 人工知能とは

出題ポイント

出題の目安:4〜6%

各用語が「何を問題にしているか」を1文で言えること、チューリングの論文(1950年)とダートマス会議(1956年)の年を押さえること、似た論点どうしを区別できることが目安です。

つまずきやすい点

  • AI効果は、実現した技術が「もう知能ではない」と見なされるようになる現象で、AIが社会や経済にもたらす効果を指す言葉ではない点
  • チューリングテストは外から見たふるまいで知能を判定する方法で、中国語の部屋は、ふるまいが正しくても意味を理解しているとは限らないという反論である点
  • フレーム問題は、いまの行動に関係する知識だけを選び出せない難しさで、シンボルグラウンディング問題は、記号を実世界の意味と結びつけられない難しさである点

重要な用語

AI効果
AIで新しいことが実現されて仕組みが知られると、人々がそれを知能ではなく単なる自動処理とみなすようになる現象
機械学習
人がルールを1つずつ書く代わりに、コンピュータがデータから規則性やパターンを学び、予測や判断に使えるようにする技術
シンギュラリティ
AIが自らを改良し続けて知能が人間を大きく超え、その後の技術や社会の変化を人間が予測できなくなる転換点
人工知能
推論、判断、学習といった人間の知的な働きを、コンピュータで実現しようとする技術や研究分野
シンボルグラウンディング問題
コンピュータが扱う記号(言葉)を、それが指す実世界の対象や感覚とどう結び付けるかという問題
ダートマス会議
1956年夏に米国のダートマス大学で開かれ、人工知能が研究分野として名前を得て出発するきっかけとなった研究会
すべての用語(18語)
AI効果
AIで新しいことが実現されて仕組みが知られると、人々がそれを知能ではなく単なる自動処理とみなすようになる現象
エージェント
センサーなどで周囲の環境を知覚し、その情報にもとづいて行動を選び、環境に働きかける主体
機械学習
人がルールを1つずつ書く代わりに、コンピュータがデータから規則性やパターンを学び、予測や判断に使えるようにする技術
シンギュラリティ
AIが自らを改良し続けて知能が人間を大きく超え、その後の技術や社会の変化を人間が予測できなくなる転換点
人工知能
推論、判断、学習といった人間の知的な働きを、コンピュータで実現しようとする技術や研究分野
身体性
知能が成り立つには、身体を通して環境を感じ取り、環境に働きかける経験が欠かせないとする考え方
シンボルグラウンディング問題
コンピュータが扱う記号(言葉)を、それが指す実世界の対象や感覚とどう結び付けるかという問題
ダートマス会議
1956年夏に米国のダートマス大学で開かれ、人工知能が研究分野として名前を得て出発するきっかけとなった研究会
知識獲得のボトルネック
専門家の知識を聞き出してコンピュータが扱えるルールに書き表す作業に膨大な手間がかかり、AIの開発の妨げになった問題
中国語の部屋
記号を規則どおりに操作して正しく応答できても、意味を理解しているとはいえないことを示そうとした、サールの思考実験
チューリングテスト
文字だけの会話で判定者が相手を機械か人間か見分けられるかどうかによって、機械の知能を判定する方法
強いAIと弱いAI
適切なプログラムを実行するコンピュータは本当に心をもつとする立場と、心の研究の道具とみなす立場を分けた、サールの用語
ディープラーニング
多数の層を重ねたニューラルネットワークを使い、予測や判断に役立つ特徴をデータから自動で学習する機械学習の手法
トイ・プロブレム
迷路やパズルのように、ルールとゴールが明確に定められ、現実の複雑さを取り除いた単純な問題
統計的機械翻訳
人が翻訳規則を書く代わりに、対訳データから求めた確率をもとに、もっともらしい訳文を選ぶ機械翻訳の方式
フレーム問題
ある行動をするときに、無数の事柄の中から関係のあることだけを選び出して考えることが、AIにとって難しいという問題
ルールベース機械翻訳
言語学者などが人手で整えた辞書と文法規則にもとづいて、原文を解析し訳文を組み立てる機械翻訳の方式
ローブナーコンテスト
チューリングテストの形式で会話プログラムを審査し、最も人間らしいと評価されたものを表彰した大会

見分け方

  • 機械学習とディープラーニング:包含関係は「人工知能の中に機械学習、その中にディープラーニング」です。ディープラーニングを使うシステムは機械学習のシステムでもありますが、逆は成り立ちません。
  • 強いAIと弱いAI:「強い・弱い」は性能の差ではありません。コンピュータが心や理解をもつと主張するかどうかで分けます。
比較表

機械学習とディープラーニングの違い

観点機械学習ディープラーニング
包含関係人工知能の一部で、ディープラーニングを含む機械学習の一部(したがって人工知能の一部)
特徴量従来の手法では、人が設計して入力することが多い生のデータから、学習の中で自動的に獲得する
代表的な手法ディープラーニング以外では、線形回帰、ロジスティック回帰、決定木、SVM、k-means法などCNN、RNN、Transformerなど、多層のニューラルネットワーク
必要なデータと計算資源従来の手法では、比較的少ないデータでも学習でき、CPUで足りることも多い大量のデータと、GPUなど並列計算に強い計算資源が必要になりやすい

強いAIと弱いAIの違い

観点強いAI弱いAI
区別を示した文献ジョン・サール「Minds, Brains, and Programs」(1980年)ジョン・サール「Minds, Brains, and Programs」(1980年)
コンピュータの位置づけ適切なプログラムを実行すれば、それ自体が心になる心の働きを調べたり、知的な作業をこなしたりするための道具
理解や心文字どおり理解や心をもつと考えるもつかどうかは問わない
プログラムの役割プログラムそのものが、人間の認知の説明になる心についての仮説を確かめる手段になる

この分野の問題を解く(24問)

2 人工知能をめぐる動向

出題ポイント

出題の目安:7〜10%

どのブームのどの技術か、何ができて何が限界だったかを対応づけられれば十分です。年代は、ダートマス会議の1956年、ILSVRCでディープラーニングが注目された2012年、AlphaGoがトップ棋士に勝った2016年などの節目を押さえます。

つまずきやすい点

  • 第1次は探索・推論、第2次は知識表現とエキスパートシステム、第3次は機械学習とディープラーニングが中心で、時代と技術の組み合わせを入れ替えた選択肢に注意が必要な点
  • 第1次はトイ・プロブレムしか解けなかったこと、第2次は専門家の知識を人手で書き出す手間(知識獲得のボトルネック)が、それぞれ行き詰まりの理由である点
  • イライザ(ELIZA)は決まったパターンで返事を組み立てる会話プログラムで、意味を理解していたわけではなく、専門家の知識で診断するマイシン(MYCIN)のようなエキスパートシステムとも別物である点

重要な用語

ILSVRC
2010年から2017年まで毎年開かれた、大規模な画像データセットImageNetを使って物体認識の精度を競うコンテスト
アルファ碁(AlphaGo)
DeepMind社が開発し、ディープラーニングと木探索を組み合わせて囲碁のトップ棋士に勝った囲碁AI
αβ法
Mini-Max法の探索で、調べても選ぶ手が変わらないと分かった枝を省き、同じ結果をより少ない計算で得る方法
意味ネットワーク
概念をノード(節点)、概念どうしの関係をラベル付きのリンク(矢印)で表し、知識をグラフの形で表現する方法
ImageNet
WordNetの名詞の階層に沿った2万を超えるカテゴリに、1,400万枚以上の画像を対応付けた大規模な画像データセット
エキスパートシステム
専門家の知識をif-thenルールなどの形で蓄え、推論によって専門家のように判断や助言を行うコンピュータシステム
すべての用語(37語)
ILSVRC
2010年から2017年まで毎年開かれた、大規模な画像データセットImageNetを使って物体認識の精度を競うコンテスト
アルファ碁(AlphaGo)
DeepMind社が開発し、ディープラーニングと木探索を組み合わせて囲碁のトップ棋士に勝った囲碁AI
αβ法
Mini-Max法の探索で、調べても選ぶ手が変わらないと分かった枝を省き、同じ結果をより少ない計算で得る方法
意味ネットワーク
概念をノード(節点)、概念どうしの関係をラベル付きのリンク(矢印)で表し、知識をグラフの形で表現する方法
ImageNet
WordNetの名詞の階層に沿った2万を超えるカテゴリに、1,400万枚以上の画像を対応付けた大規模な画像データセット
イライザ(ELIZA)
1960年代半ばにジョセフ・ワイゼンバウムが開発した、入力文のパターンに合わせて決まった形の応答を返す対話プログラム
インタビューシステム
エキスパートシステムを作る際に、コンピュータが専門家に質問を重ねて知識を引き出し、知識ベースの構築を支援する仕組み
ウェブマイニング
データマイニングの技術をWeb上の文章やリンク、アクセスの記録などに適用し、有用な知識やパターンを取り出す技術
エキスパートシステム
専門家の知識をif-thenルールなどの形で蓄え、推論によって専門家のように判断や助言を行うコンピュータシステム
オントロジー
ある分野の概念と概念どうしの関係を明確に定義し、人やコンピュータが知識を共有・再利用できるようにした体系
Question-Answering(質問応答)
人が自然な文で尋ねた質問に対し、コンピュータが文書やデータをもとに答えそのものを返す技術
組合せ爆発
問題の規模が少し大きくなるだけで、調べるべき候補の組合せの数が掛け算で急増し、現実的な時間では調べきれなくなる現象
Cycプロジェクト
人間がもつ一般常識を知識ベースとして記述し、コンピュータが推論に使えるようにすることを目指した長期の研究プロジェクト
次元の呪い
データを表す特徴量の数(次元)が増えるにつれて、学習に必要なデータ量や計算量が急激に増え、うまく学習できなくなる現象
SHRDLU
1968〜1970年にMITのウィノグラードが開発した、積み木の仮想世界について英語で指示や質問を受け、操作や応答を行うプログラム
STRIPS
行動を前提条件と実行後の変化で記述し、初期状態から目標状態に至る行動の手順を自動で求める、1971年に発表されたプランニングの手法
スパムフィルタ
受信したメールが迷惑メールかどうかを判定し、迷惑メールを通常のメールから振り分ける仕組み
生成AI
大量のデータから特徴を学び、文章・画像・音声・プログラムなどの新しいコンテンツを作り出すAIの総称
セマンティックWeb
Web上の情報に意味を表すデータを付け加え、人だけでなくコンピュータも内容を処理できるようにする構想
探索木
問題の状態をノード、状態を移す操作を枝として、出発点から考えられる手順を木の形に広げて表したもの
チャットボット
人が入力した文章や音声に対して、自動で応答を返しながら会話を続けるプログラム
データマイニング
大量のデータを統計学や機械学習の手法で分析し、人が気づいていなかった有用な規則性や傾向を見つけ出す技術
DENDRAL
1965年にスタンフォード大学で始まった、質量分析のデータなどから有機化合物の分子構造を推定するエキスパートシステム
統計的自然言語処理
大量の文章データ(コーパス)から単語や表現の現れ方を確率として学び、言葉を処理する方法
東ロボくん
国立情報学研究所が中心となって2011年に始めたプロジェクト「ロボットは東大に入れるか」で開発された、大学入試問題を解くAI
ネオコグニトロン
福島邦彦が提唱した、視覚野の神経細胞をまねて特徴の抽出と位置ずれの吸収を繰り返す、CNNの原型とされる神経回路モデル
ハノイの塔
AIで探索の例題によく使われる、1本の柱に積まれた大きさの違う円盤を、規則に従い3本の柱を使って別の柱へすべて移すパズル
幅優先探索
探索木の出発点に近いノードから順に、同じ深さのノードをすべて調べてから次の深さへ進む探索方法
ビッグデータ
量が膨大で種類も多様なうえ、次々と生み出されるため、従来の方法では保存や分析が難しいデータ
深さ優先探索
探索木の1つの枝を行き止まりまで深くたどり、解がなければ1つ前の分かれ道まで戻って別の枝を調べる探索方法
ブルートフォース
考えられるすべての候補や手順を、絞り込みの工夫をせずに1つずつ調べ尽くして答えを見つける方法
マイシン(MYCIN)
1970年代にスタンフォード大学で開発された、細菌感染症の原因菌を推定し、適した抗生物質を提案するエキスパートシステム
Mini-Max法
対戦ゲームで相手も最善の手を選ぶと仮定し、探索木の評価値を末端からさかのぼって自分の指す手を決める方法
モンテカルロ法
乱数を使った試行(シミュレーション)を多数くり返し、その結果の平均や割合から答えを近似的に求める方法
LeNet
ヤン・ルカンらが開発した、畳み込み層とサブサンプリング層を重ねて誤差逆伝播法で学習する、初期の代表的なCNN
レコメンデーションエンジン
購買や閲覧の履歴などから利用者の好みを推定し、合いそうな商品や情報を選んで提示する仕組み
ワトソン
IBMが開発した質問応答システムで、大量の文書から答えの候補を集め、確信度の高いものを選んで回答するAI

見分け方

  • 深さ優先探索と幅優先探索:名前のとおり、深さ優先は「縦に掘る」、幅優先は「横に広げる」と覚えます。探索木の図の問題では、この順番でノードに番号を振っていけば答えが出ます。
比較表

深さ優先探索と幅優先探索の違い

観点深さ優先探索幅優先探索
調べる順番1本の枝を行き止まりまで進み、戻って次の枝へ同じ深さのノードをすべて調べてから、次の深さへ
これから調べるノードの管理スタック(後入れ先出し)キュー(先入れ先出し)
最初に見つかる解手数が最小とは限らない手数が最小の解(1手ごとのコストが等しければ、合計コストも最小)
メモリの使用量少ない。今の道筋と分かれ道に残った枝だけを保持する(およそb×m)多い。同じ深さのノードをまとめて保持する(およそbのd乗)

この分野の問題を解く(41問)

3 機械学習の概要

出題ポイント

出題の目安:10〜13%

手法ごとに何を入力して何を出力するか、どんな考え方で学ぶかを説明できること、混同行列から適合率・再現率などを計算できること、場面に合う手法や指標を選べることが中心です。

つまずきやすい点

  • 分類は正解ラベルつきのデータから学んで決まったクラスに振り分ける教師あり学習、クラスタリングは正解なしで似たデータをまとめる教師なし学習で、どちらも「グループに分ける」と言えるため取り違えやすい点
  • ロジスティック回帰は名前に「回帰」とつくが、クラスに属する確率を出力して分類に使う手法である点
  • バギング(ランダムフォレストなど)は独立に学習したモデルを並列に組み合わせ、ブースティング(勾配ブースティングなど)は前のモデルの誤りを補うように順番に学習する点

重要な用語

ROC曲線・AUC
閾値を動かしながら真陽性率と偽陽性率の関係を描いた曲線と、その下側の面積を使って、陽性と陰性を見分ける力を評価する方法
アンサンブル学習
複数のモデルを学習させ、それらの予測を多数決や平均などで組み合わせて、1つのモデルより高い性能を得る手法
回帰問題
入力データから、価格や気温のような連続した数値を予測する、教師あり学習の問題
過学習
モデルが学習データのノイズまで覚え込み、学習データではよく当たる一方で、未知のデータに対する予測の精度が下がる状態
Q学習
ある状態である行動をとったときの価値(Q値)を、試行錯誤で得た報酬をもとに更新して学ぶ、価値ベースの強化学習の手法
強化学習
エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が大きくなる行動の選び方(方策)を学ぶ機械学習の方法
すべての用語(61語)
ROC曲線・AUC
閾値を動かしながら真陽性率と偽陽性率の関係を描いた曲線と、その下側の面積を使って、陽性と陰性を見分ける力を評価する方法
赤池情報量規準(AIC)
モデルのデータへの当てはまりの良さとパラメータ数の多さを1つの値にまとめ、候補のモデルを比べて選ぶための指標
Actor-Critic
行動を選ぶ方策(Actor)と、行動を評価する価値関数(Critic)を組み合わせ、両方を同時に学習する強化学習の手法
アンサンブル学習
複数のモデルを学習させ、それらの予測を多数決や平均などで組み合わせて、1つのモデルより高い性能を得る手法
ε-greedy方策
確率εでランダムに行動を選んで探索し、残りの確率1−εでその時点で価値が最も高いと推定される行動を選ぶ方策
ウォード法
階層的クラスタリングの方法の1つで、まとめたときのクラスタ内の平方和(ばらつき)の増え方が最小になる組から順にまとめていく方法
オッカムの剃刀
ある現象を同じ程度に説明できるなら、必要以上の仮定を置かない、より単純な説明を選ぶべきだとする考え方
カーネルトリック
データを高次元の空間に写像したあとの内積を、写像を直接計算せずにカーネル関数で元の空間のまま求める、計算上の工夫
回帰問題
入力データから、価格や気温のような連続した数値を予測する、教師あり学習の問題
階層的クラスタリング
似ているデータやクラスタを順に併合(または分割)していき、クラスタの入れ子の構造を木の形で求めるクラスタリング手法
過学習
モデルが学習データのノイズまで覚え込み、学習データではよく当たる一方で、未知のデータに対する予測の精度が下がる状態
Q学習
ある状態である行動をとったときの価値(Q値)を、試行錯誤で得た報酬をもとに更新して学ぶ、価値ベースの強化学習の手法
強化学習
エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が大きくなる行動の選び方(方策)を学ぶ機械学習の方法
教師あり学習
入力と正解(ラベル)を組にしたデータを使い、入力から正解を予測する規則を学ぶ機械学習の方法
教師なし学習
正解(ラベル)の付いていないデータから、似たもののまとまりやデータの構造を見つけ出す機械学習の方法
協調フィルタリング
多くの利用者の評価や購買の履歴から、好みの似た利用者や一緒に選ばれやすい商品を見つけて推薦する方式
クラスタリング
正解ラベルのないデータを、特徴の似たものどうしが同じグループ(クラスタ)になるように分ける、教師なし学習の手法
k-means法
データをあらかじめ決めたk個のクラスタに分けるため、重心への割り当てと重心の再計算を繰り返すクラスタリング手法
決定木
「ある特徴量が基準値以上か」のような条件による分岐を木の形に重ねて、分類や回帰の予測を行う機械学習の手法
交差検証
データを複数のグループに分け、検証用のグループを入れ替えながら学習と評価を繰り返して、モデルの汎化性能を見積もる方法
行動価値関数
ある状態である行動をとり、その後は決められた方策に従ったときに得られる、割引累積報酬(収益)の期待値を表す関数
勾配ブースティング
それまでの予測の誤りを減らすように弱い学習器を1つずつ追加していく、ブースティング系のアンサンブル学習の手法
コールドスタート問題
推薦システムが、利用や評価の履歴がほとんどない新しい利用者や商品に対して、適切な推薦をしにくい問題
コンテンツベースフィルタリング
商品のジャンルや説明文などの属性と、利用者が過去に好んだ商品の属性を照らし合わせて推薦する方式
混同行列
分類モデルの予測結果を、実際のクラスと予測したクラスの組み合わせごとに件数で数えて並べた表
サポートベクターマシン
クラスの境界と、境界に最も近いデータとの距離(マージン)が最大になるように境界を決める、教師あり学習の手法
SARSA
次の状態で実際に選んだ行動の行動価値を使って行動価値関数を更新する、方策オン型の強化学習の手法
次元削減
多くの特徴量(次元)をもつデータを、もとの情報をできるだけ残したまま、より少ない次元で表し直す処理
自己回帰モデル(ARモデル)
時系列データのある時点の値を、同じ系列の過去の値に係数を掛けて足し合わせた式で表し、予測するモデル
重回帰分析
2つ以上の説明変数を使い、目的変数をそれらに係数を掛けて足し合わせた1次式で表して分析・予測する線形回帰
主成分分析
多くの変数をもつデータを、元のばらつき(分散)をできるだけ保つ、互いに無相関な少数の合成変数にまとめる次元削減の手法
状態価値関数
ある状態から出発し、その後は決められた方策に従って行動したときに得られる、割引累積報酬(収益)の期待値を表す関数
正解率・適合率・再現率・F値
混同行列の4つの件数から計算する、分類モデルの予測の良さを表す代表的な評価指標
線形回帰
目的変数を、説明変数に係数を掛けて足し合わせた1次式で表し、売上や価格などの数値を予測する回帰のモデル
潜在的ディリクレ配分法(LDA)
各文書を複数のトピックの混ざり合いとみなし、文書の集まりからトピックとその割合を推定するトピックモデル
ソフトマージン
SVMで一部のデータがマージンの内側に入ることや誤分類を許し、その度合いに罰を与えながらマージンを広く取る方法
多次元尺度構成法(MDS)
データどうしの距離(非類似度)の関係をできるだけ保つように、データを2次元などの低い次元の空間に配置する手法
単回帰分析
1つの説明変数から目的変数を予測するため、2つの変数の関係を1本の直線(回帰直線)で表す線形回帰
t-SNE
高次元のデータを、近いデータどうしの関係をできるだけ保ったまま2次元や3次元に配置する、可視化向きの非線形の次元削減手法
デンドログラム(樹形図)
階層的クラスタリングで、データやクラスタがどの順番に、どの程度の距離で併合されたかを木の形で表した図
特異値分解
どんな形の行列も、2つの直交行列と、特異値を大きい順に対角に並べた行列の積に分解する手法
トピックモデル
大量の文書に出てくる単語の共起から、背後にある話題(トピック)と、各文書がどの話題をどれくらい含むかを推定する手法
バギング
復元抽出で作った複数の学習データでモデルを別々に学習させ、その予測を多数決や平均でまとめるアンサンブル学習の手法
汎化性能
学習に使っていない未知のデータに対しても、モデルが正しく予測できる能力
バンディットアルゴリズム
良し悪しが事前にわからない複数の選択肢を繰り返し選びながら、得られる報酬の合計をできるだけ大きくするための選び方の手法
ブースティング
前のモデルが苦手としたデータを次のモデルが重点的に学ぶように、弱学習器を1つずつ追加して組み合わせるアンサンブル学習の手法
ブートストラップサンプリング
手元のデータから重複を許して無作為にデータを抜き出し、元と同じ件数の標本を何組も作る方法
分類問題
入力データが、あらかじめ決められたいくつかのクラス(カテゴリ)のうちどれに当たるかを予測する、教師あり学習の問題
平均絶対値誤差(MAE)
予測値と正解値の差の絶対値をすべてのデータについて平均した値で、回帰問題の予測のずれを表す評価指標
平均二乗誤差
予測値と正解値の差を二乗し、すべてのデータについて平均した値で、回帰問題の代表的な評価指標や誤差関数
ベイズ情報量規準(BIC)
モデルの当てはまりの良さに、パラメータ数とデータ数に応じた罰則を加えて、候補のモデルを比べるための指標
ベクトル自己回帰モデル(VARモデル)
複数の時系列データについて、各系列の値をすべての系列の過去の値で表し、まとめて予測するモデル
方策勾配法
行動の選び方(方策)をパラメータをもつ関数で表し、収益の期待値が大きくなるように、そのパラメータを勾配で直接更新する手法
ホールドアウト検証
手元のデータを学習用と評価用に一度だけ分け、学習に使わなかった評価用データでモデルの性能を測る方法
マージン最大化
クラスを分ける境界と、境界に最も近いデータとの距離(マージン)が最も大きくなるように境界を決める考え方
マルコフ決定過程
次の状態と報酬が現在の状態と行動だけで確率的に決まるという仮定のもとで、意思決定の問題を表す数理的な枠組み
UCB方策
行動ごとの報酬の平均に、見積もりの不確かさに応じた上乗せ分を加え、その値が最大の行動を選ぶことで、探索と活用の釣り合いをとる方策
ランダムフォレスト
データと特徴量を無作為に選んで多数の決定木を作り、それらの予測を多数決や平均でまとめるアンサンブル学習の手法
REINFORCE
1つのエピソードで得た収益をもとに、収益が大きかった行動ほど選ばれやすくなるよう方策を更新する、方策勾配法の基本的な手法
ロジスティック回帰
入力の重み付き和をシグモイド関数に通して0から1の確率を出力し、主に2値分類に使う教師あり学習のモデル
割引率
強化学習で将来に受け取る報酬を現在の価値に換算するときに掛ける、0以上1以下の係数

見分け方

  • 赤池情報量規準(AIC)とベイズ情報量規準(BIC):罰則項だけを見比べます。第1項の−2×最大対数尤度は共通で、罰則が2×パラメータ数ならAIC、log(データ数)やln nが入っていればBICです。
  • バギングとブースティング:「並列のバギング、逐次のブースティング」で覚えます。前のモデルの誤りを次のモデルが補う、という説明があればブースティングです。
比較表

赤池情報量規準(AIC)とベイズ情報量規準(BIC)の違い

観点赤池情報量規準(AIC)ベイズ情報量規準(BIC)
提唱者赤池弘次(1973年)シュワルツ(G. Schwarz、1978年)
式−2×最大対数尤度+2×パラメータ数−2×最大対数尤度+パラメータ数×log(データ数)
パラメータ1つあたりの罰則2。データ数によらないlog(データ数)(自然対数)。データ数が8以上で2を超え、データが増えるほど重くなる
選ばれやすいモデルデータ数が8以上なら、BICより複雑なモデルを選びやすいデータ数が8以上なら、AICより単純なモデルを選びやすい

バギングとブースティングの違い

観点バギングブースティング
学習の進め方並列(各モデルは互いに独立)逐次(前のモデルの結果を受けて次を学習)
学習データの作り方ブートストラップサンプリング(重複を許して抽出)誤ったデータの重みを大きくする(AdaBoost)、それまでの誤差を学習する(勾配ブースティング)
予測のまとめ方多数決(分類)、平均(回帰)学習器ごとに重みを付けた多数決や、予測の足し合わせ
主に減らす誤差バリアンス(学習データによる予測のばらつき)バイアス(モデルが単純すぎることによる誤差)

分類問題と回帰問題の違い

観点分類問題回帰問題
予測するもの決められたクラス(例:迷惑メールかどうか、写っている動物の種類)連続した数値(例:住宅の成約価格、翌日の最高気温)
代表的な手法ロジスティック回帰、サポートベクターマシン(SVM)、決定木、ランダムフォレスト線形回帰(単回帰分析・重回帰分析)、自己回帰モデル(ARモデル)、回帰木、ランダムフォレスト
ニューラルネットワークの出力層2クラスならシグモイド関数、多クラスならソフトマックス関数恒等関数(値をそのまま出す)
誤差関数の例交差エントロピー平均二乗誤差関数

見分け方:「どのクラスか」「〜かどうか」を当てるなら分類問題、「いくらか」「何度か」「何人か」を当てるなら回帰問題です。

協調フィルタリングとコンテンツベースフィルタリングの違い

観点協調フィルタリングコンテンツベースフィルタリング
推薦の手がかりほかの利用者を含む、利用者×商品の評価や購買の履歴商品の属性と、本人の過去の好み
商品の属性情報使わない。整える手間がかからない必要。整える手間がかかる
履歴のない新商品推薦しにくい(コールドスタート問題)属性があれば推薦の候補にできる
履歴も好みの登録もない新しい利用者推薦しにくい推薦しにくい(好みの手がかりがない)

見分け方:「ほかの利用者の履歴」を手がかりにするなら協調フィルタリング、「商品の中身(属性)」を手がかりにするならコンテンツベースフィルタリングです。

決定木とランダムフォレストの違い

観点決定木ランダムフォレスト
モデルの構成1本の木多数の決定木(森)
学習に使うデータ学習データ全体で1本の木を作る木ごとに、ブートストラップサンプリングで学習データを作り直す
分岐の候補にする特徴量分岐のたびに、すべての特徴量から最もよい分け方を選ぶ分岐のたびに、無作為に選んだ一部の特徴量から選ぶ
予測の出し方たどり着いた葉の値(分類は葉で最も多いクラス、回帰は葉に入ったデータの平均)各木の予測の多数決(分類)または平均(回帰)

見分け方:「1本の木か、多数の木の多数決か」で見分けます。予測の根拠を条件の並びで示せるのは決定木、ばらつきを平均で抑えて精度を上げるのがランダムフォレストです。

ホールドアウト検証と交差検証の違い

観点ホールドアウト検証交差検証
データの分け方学習用と評価用に一度だけ分ける(例:8対2)k個のグループに分け、1つを検証用、残りを学習用にする組み合わせを順に入れ替える(k-分割交差検証)
学習と評価の回数1回k回(kは5や10がよく使われる)
評価に使われるデータ評価用に取り分けた一部だけすべてのデータが一度ずつ検証用になる
評価値の安定性分け方の偶然でぶれやすい。評価用データが少ないほどぶれは大きいk回の平均をとるので安定しやすい

見分け方:手順に「繰り返し」と「平均」があるかで見分けます。一度だけ分けて1回評価するならホールドアウト検証、検証用を入れ替えながら繰り返して平均するなら交差検証です。

k-means法と階層的クラスタリングの違い

観点k-means法階層的クラスタリング
分類非階層的クラスタリング階層的クラスタリング(凝集型と分割型がある)
クラスタ数最初にkを指定する(エルボー法などが目安)最初に決めなくてよい。デンドログラムを切る高さで後から選ぶ
手順最も近い重心への割り当てと、平均による重心の再計算を繰り返す最も近いクラスタの組を1つずつ併合していく(凝集型)
結果の安定性初期の重心の置き方に左右され、実行のたびに変わることがある同じデータと同じ距離の定義なら、基本的に同じ結果になる

見分け方:クラスタ数を最初に決めるならk-means法、後から決めるなら階層的クラスタリングです。デンドログラムが出てきたら、階層的クラスタリングの話です。

平均絶対値誤差(MAE)と平均二乗誤差(MSE)の違い

観点平均絶対値誤差(MAE)平均二乗誤差(MSE)
計算式(1/n)×Σ|正解値−予測値|(1/n)×Σ(正解値−予測値)²
1件の誤差が2倍になるとその1件の寄与は2倍その1件の寄与は4倍
外れ値の影響受けにくい受けやすい(大きな誤差を重く数える)
単位予測の対象と同じ(個なら個)予測の対象の二乗(個なら個²)。平方根をとるとRMSEになり、単位が戻る

見分け方:式に「二乗」があればMSE、「絶対値」ならMAEです。二乗する指標は大きな誤差を重く数えるので、外れ値に弱くなります。

主成分分析(PCA)と特異値分解(SVD)の違い

観点主成分分析(PCA)特異値分解(SVD)
何をするものかデータのばらつきをできるだけ保つ、互いに無相関な少数の合成変数(主成分)を見つける行列をA = UΣVᵀの形に分解する
対象データ行列(行がサンプル、列が変数)任意のm行n列の行列(正方行列でなくてよい)
平均を引く処理(中心化)必ず行う。単位の異なる変数は標準化もする必須ではない。潜在意味解析(LSA)などでは平均を引かずに分解する
得られるもの主成分の方向、各主成分の分散、寄与率・累積寄与率左特異ベクトル(U)、特異値(Σ)、右特異ベクトル(V)

見分け方:「分散が最大の方向」「寄与率」「主成分」が出てきたら主成分分析、「特異値」「行列を3つの積に分ける」「低ランク近似」が出てきたら特異値分解です。

主成分分析(PCA)とt-SNEの違い

観点主成分分析(PCA)t-SNE
変換の種類線形非線形
保とうとする構造データ全体の分散(大域的な構造)近いデータどうしの関係(局所的な構造)
計算の中身共分散行列の固有値と固有ベクトルを求める(データ行列の特異値分解でも求められる)元の空間と図の上での近さの確率分布のずれ(KL情報量)を、点の位置を動かして小さくする
主な用途特徴量の圧縮、ノイズの低減、学習の前処理、可視化2次元・3次元への可視化、まとまりを探す探索的な分析

見分け方:「線形」「分散が最大の方向」「寄与率」が出てきたら主成分分析、「非線形」「近いデータどうしの関係」「パープレキシティ」が出てきたらt-SNEです。

適合率と再現率の違い

観点適合率再現率
計算式TP / (TP + FP)TP / (TP + FN)
分母(どこから見るか)陽性と予測したデータ実際に陽性のデータ
減らしたい誤り偽陽性(誤検知)偽陰性(見逃し)
重視する場面の例迷惑メールの判定(普通のメールを誤って隔離したくない)病気の検査や不良品の検出(陽性を見逃したくない)

見分け方:定義の主語で見分けます。「陽性と予測したもののうち」なら適合率、「実際に陽性のもののうち」なら再現率です。

Q学習とSARSAの違い

観点Q学習SARSA
更新の目標r + γ × max_a' Q(s', a')(次の状態で最大のQ値)r + γ × Q(s', a')(a'は次に実際に選ぶ行動)
分類方策オフ型方策オン型
学ぶ価値最も価値の高い行動をとり続ける方策(最適方策)の価値探索を含め、いま行動を選んでいる方策の価値
更新に必要な情報s、a、r、s's、a、r、s'、a'(名前の由来)

見分け方:更新式に「max」があればQ学習、次に選んだ行動a'のQ値をそのまま使っていればSARSAです。

この分野の問題を解く(59問)

4 ディープラーニングの概要

出題ポイント

出題の目安:9〜12%

学習の流れのどこで各要素が働くか、代表的な関数や手法の特徴と使い分け、勾配消失問題の原因と対策を説明できれば十分です。

つまずきやすい点

  • 勾配消失問題は活性化関数と誤差逆伝播法の両方にまたがる論点で、シグモイド関数の微分は最大でも0.25と小さく、層を重ねるほど掛け合わされて勾配が小さくなることが原因の1つである点
  • L1正則化は一部の重みをちょうど0にしやすく(ラッソ回帰)、L2正則化は重み全体を小さく抑えるがちょうど0にはなりにくい(リッジ回帰)という違い
  • エポックは学習データ全体を1回使い切る単位、イテレーションは重みを1回更新する単位で、1,000件をバッチサイズ100で学習すると1エポックは10イテレーションになる点

重要な用語

Adam
モーメンタムとRMSpropの考え方を組み合わせ、パラメータごとに更新の大きさを自動で調整する勾配降下法の一種
イテレーション
機械学習の訓練で、重みを1回更新することを1と数える単位
エポック
機械学習の訓練で、訓練データ全体をひと通り1回使って学習することを1と数える単位
L2正則化
誤差関数に重みの二乗和を罰則として加え、重みの値が大きくなりすぎないようにする正則化の手法
L1正則化
誤差関数に重みの絶対値の和を罰則として加え、一部の重みをちょうど0にしやすくする正則化の手法
学習率
勾配降下法で重みを更新するときに勾配に掛け、1回あたりの更新の大きさを決める係数
すべての用語(50語)
RMSprop
勾配の2乗の指数移動平均をパラメータごとに記録し、その平方根で勾配を割って更新の大きさを調整する最適化手法
AdaGrad
パラメータごとに過去の勾配の二乗を足し合わせ、その値が大きいパラメータほど学習率を小さくして更新する最適化手法
AdaDelta
勾配の二乗と過去の更新量の二乗の指数移動平均を使い、学習率を手で決めずに更新幅を調整する最適化手法
AdaBound
Adamの学習率に学習が進むほど幅が狭まる上限と下限を設け、序盤はAdam、終盤はSGDのようにふるまわせる最適化手法
Adam
モーメンタムとRMSpropの考え方を組み合わせ、パラメータごとに更新の大きさを自動で調整する勾配降下法の一種
鞍点
ある方向から見ると極小、別の方向から見ると極大になっていて、勾配が0になる点
イテレーション
機械学習の訓練で、重みを1回更新することを1と数える単位
AMSBound
Adamの改良版であるAMSGradの学習率に、学習が進むほど幅が狭まる上限と下限を設け、終盤にSGDへ近づける最適化手法
エポック
機械学習の訓練で、訓練データ全体をひと通り1回使って学習することを1と数える単位
L2正則化
誤差関数に重みの二乗和を罰則として加え、重みの値が大きくなりすぎないようにする正則化の手法
L1正則化
誤差関数に重みの絶対値の和を罰則として加え、一部の重みをちょうど0にしやすくする正則化の手法
オンライン学習
データを1件ずつ使い、受け取るたびに勾配を求めて重みを更新していく学習方法
学習率
勾配降下法で重みを更新するときに勾配に掛け、1回あたりの更新の大きさを決める係数
確率的勾配降下法
訓練データからランダムに選んだ一部のデータで勾配を計算し、重みを少しずつ更新していく最適化手法
活性化関数
ニューラルネットワークの各ユニットで、入力の重み付き和にバイアスを加えた値を変換し、そのユニットの出力を決める関数
局所最適解
その周辺では損失が最も小さいものの、関数全体で見ると最小とは限らない解
グリッドサーチ
ハイパーパラメータごとに候補値を決め、そのすべての組み合わせを試して、検証データで最もよい組み合わせを選ぶ探索方法
KL情報量
ある確率分布を基準にしたとき、別の確率分布がどれだけ異なるかを表す、0以上の値をとる量
交差エントロピー
モデルが予測した確率分布が正解の分布とどれだけ合っていないかを表す値で、分類問題の誤差関数として広く使われるもの
勾配降下法
損失関数の勾配(傾き)を求め、損失が小さくなる向きに重みを少しずつ動かして、よい重みを探す最適化手法
勾配消失問題
誤差逆伝播法で入力層に近い層ほど勾配が小さくなり、重みがほとんど更新されなくなる現象
勾配爆発問題
誤差逆伝播法で層や時刻をさかのぼって勾配を伝えるうちに勾配が急激に大きくなり、学習が不安定になったり発散したりする現象
誤差逆伝播法
ニューラルネットワークの出力の誤差をもとに、連鎖律を使って出力層側から入力層側へ順に、各重みの勾配を効率よく計算する方法
Contrastive Loss
2つのデータの組について、似た組は埋め込みの距離を縮め、似ていない組はマージン以上に離すよう学習させる損失関数
CPU
プログラムの命令を読み取って順に実行し、コンピュータ全体の動作を制御する、汎用の中央処理装置
GPU
画像の描画のために開発され、多数のコアで大量の単純な計算を同時に処理することを得意とするプロセッサ
シグモイド関数
どんな実数の入力も0から1の間の値に変換する、なめらかなS字形の関数
信用割当問題
学習するシステムが成功や失敗をしたとき、その結果に関わった多数の要素や判断のうち、どれにどれだけ責任があるかを決める問題
正則化
モデルが訓練データに合わせすぎる過学習を抑え、未知のデータに対する性能を高めるために、学習に制約を加える工夫
早期終了
学習中に検証データの誤差を監視し、誤差が改善しなくなった時点で学習を打ち切って過学習を防ぐ方法
ソフトマックス関数
複数の数値をそれぞれ0から1の間の値に変換し、その合計がちょうど1になるようにする関数
大域最適解
考えられるすべての解の中で、損失関数の値が最も小さくなる解
多層パーセプトロン
入力層と出力層の間に隠れ層をもち、各層が前の層のすべてのユニットと結合した、順伝播型のニューラルネットワーク
tanh関数
入力を−1から1の範囲の値に変換する、原点を中心に対称なS字形の活性化関数
単純パーセプトロン
入力層と出力層だけからなり、入力の重み付き和がしきい値を超えるかどうかで1か0を出力する、最も基本的なニューラルネットワーク
TPU
Googleがニューラルネットワークの計算を速く、少ない電力で行うために独自に開発した、行列演算に特化したプロセッサ
Triplet Loss
アンカー、同じクラスの正例、異なるクラスの負例の3つ組を使い、正例が負例より近くなるよう埋め込みを学ばせる損失関数
ドロップアウト
ニューラルネットワークの学習中に一部のユニットをランダムに無効にして、過学習を抑える正則化の手法
二重降下現象
モデルの規模を大きくしていくと、テスト誤差がいったん下がってから上がり、さらに大きくすると再び下がる現象
ニューラルネットワーク
脳の神経細胞のつながりをヒントに、計算単位を層状につないで、データから入力と出力の関係を学習するモデル
ノーフリーランチの定理
考えうるすべての問題で平均すると、どの最適化や学習の手法も性能が等しくなり、万能な手法はないことを示した定理
ハイパーパラメータ
学習率やバッチサイズ、層の数のように、訓練データからの学習では決まらず、学習を始める前に設定しておく値
ミニバッチ学習
訓練データを数十〜数百件ずつの小さなまとまり(ミニバッチ)に分け、まとまりごとに勾配を計算して重みを更新する学習方法
モーメンタム
勾配降下法で、前回までの更新の向きと勢いを慣性のように引き継ぎ、今回の勾配と合わせて重みを更新する最適化手法
ラッソ回帰
線形回帰の誤差に係数の絶対値の和を罰則として加え、一部の係数をちょうど0にして説明変数を絞り込む回帰の手法
ランダムサーチ
ハイパーパラメータの値を指定した範囲から無作為に選んで、決めた回数だけ試し、最もよい組み合わせを選ぶ探索方法
Leaky ReLU関数
入力が正ならそのまま出力し、0以下なら0.01倍などの小さな傾きを掛けた値を出力する活性化関数
リッジ回帰
線形回帰の誤差に係数の二乗和を罰則として加え、係数を全体的に小さく抑えて推定を安定させる回帰の手法
ReLU関数
入力が0より大きければその値をそのまま出力し、0以下なら0を出力する活性化関数
連鎖律
関数の中に別の関数が入った合成関数の微分を、外側の関数の微分と内側の関数の微分の積として求める規則

見分け方

  • バッチ学習・ミニバッチ学習とオンライン学習:「1回の更新に何件使うか」だけを見ます。全件ならバッチ学習、1件ならオンライン学習、その間ならミニバッチ学習です。
  • 勾配降下法と誤差逆伝播法:動詞で見分けます。「勾配を求める」「勾配を計算する」なら誤差逆伝播法、「勾配を使って重みを更新する」なら勾配降下法です。
比較表

バッチ学習・ミニバッチ学習とオンライン学習の違い

観点バッチ学習ミニバッチ学習オンライン学習
1回の更新に使うデータ訓練データ全件数十〜数百件のまとまり(ミニバッチ)1件
1エポックの更新回数(データN件、バッチサイズB)1回N ÷ B回N回
勾配のばらつき(更新の向きのぶれ)最も小さい中くらい。Bが大きいほど小さい最も大きい
1回の計算とメモリ重い。データが多いとメモリに載りきらないことがある中くらい。GPUでまとめて並列に計算しやすい軽い。全件を一度にメモリに載せなくてよい

勾配降下法と誤差逆伝播法の違い

観点勾配降下法誤差逆伝播法
一言でいうと勾配を使って重みを更新する方法勾配を計算する方法
分類最適化手法微分(勾配)の計算方法
入力と出力現在の重み、勾配、学習率から、更新後の重みを求める順伝播で記録した各層の値と出力の誤差から、すべての重みの勾配を求める
中心となる式・規則w ← w − η × ∂L/∂w(ηは学習率)連鎖律(合成関数の微分を、層ごとの微分の掛け算に分解する)

グリッドサーチとランダムサーチの違い

観点グリッドサーチランダムサーチ
試す値の決め方種類ごとに候補値を並べ、その格子の交点をすべて試す指定した範囲や分布から、試行ごとに無作為に選ぶ
試行回数候補数の掛け算で決まる(例:3通り×4通り=12回)計算の予算に合わせて先に決める
種類を増やしたとき試行回数が掛け算で急増する決めた試行回数のまま探索できる
性能に効くハイパーパラメータが一部だけのとき効くハイパーパラメータも候補数の分しか試せず、残りの試行は効かないハイパーパラメータの値違いに使われる試行ごとに値が変わるので、効くハイパーパラメータも試行回数と同じ数の異なる値を試せる

見分け方:「すべての組み合わせ」「格子」ならグリッドサーチ、「無作為」「試行回数を先に決める」ならランダムサーチです。

L1正則化とL2正則化の違い

観点L1正則化L2正則化
罰則項λ(|w1| + … + |wn|)(重みの絶対値の和)λ(w1² + … + wn²)(重みの二乗和)
重みへの効果一部の重みがちょうど0になる(スパースになる)全体的に小さくなるが、ちょうど0にはなりにくい
重みを0へ押す力重みの大きさによらず一定(λ)重みに比例し、小さくなるほど弱まる(2λw)
重みが2つのときの制約の形ひし形(角が座標軸の上にある)円(角がない)

見分け方:「絶対値」ならL1、「二乗」ならL2です。L1は1乗、L2は2乗と、数字と次数をそろえて覚えます。

正規化と正則化の違い

観点正規化正則化
目的値の尺度や分布をそろえ、学習を安定・高速にする過学習を抑え、汎化性能を高める
手を加える対象入力データや中間層の出力(値そのもの)誤差関数(罰則項を加える)や学習の手順
代表例Min-Max正規化(前処理)、バッチ正規化、レイヤー正規化L1正則化、L2正則化、ドロップアウト
必要になる場面特徴量ごとに桁が大きく違う、学習が不安定で進まない訓練データでの誤差は小さいのに、検証データでの誤差が大きい

見分け方:何をそろえ、何を抑えるかで見分けます。値の尺度や分布をそろえるなら正規化、モデルの複雑さを抑えて過学習を防ぐなら正則化です。

シグモイド関数とソフトマックス関数の違い

観点シグモイド関数ソフトマックス関数
式σ(x) = 1 / (1 + exp(−x))yi = exp(zi) / (exp(z1) + … + exp(zK))
入力と出力の数1つの値を受け取り、1つの値を返すK個の値をまとめて受け取り、K個の値を返す
出力の範囲0から1の間各出力は0から1の間で、K個を足すと必ず1になる
出力どうしの関係出力ごとに独立。ある出力の入力を変えても、ほかの出力は変わらない互いに依存する。ある出力が上がると、ほかの出力の合計はその分だけ下がる

見分け方:クラスが互いに排他的かどうかで見分けます。1つだけを選ぶならソフトマックス関数、1つのデータに複数のラベルが同時に付きうるならラベルごとのシグモイド関数です。

この分野の問題を解く(52問)

5 ディープラーニングの要素技術

出題ポイント

出題の目安:12〜15%

各層の役割と向いているデータ、畳み込みの出力サイズやパラメータ数の簡単な計算、正規化の種類の違い、系列データの処理がRNNからAttention・Transformerへ移った理由を説明できれば十分です。

つまずきやすい点

  • 最大値プーリングや平均値プーリングには学習で調整する重みがなく、畳み込み層はフィルタの重みを学習する点
  • バッチ正規化はミニバッチ内の複数のデータにまたがってチャンネルごとに、レイヤー正規化は1つのデータの中で、平均と分散を計算する点
  • スキップ結合は層を飛ばして入力を出力に足す仕組みで、層を深くしても勾配が伝わりやすくなり、ResNetの中心となる仕組みである点

重要な用語

RNN
過去の時刻の情報を内部に保ち、次の時刻の計算に使うことで、時系列データの前後関係を扱えるようにしたニューラルネットワーク
Attention
クエリと入力の各要素との関連度から重みを求め、その重みで情報を加重和して、必要な部分に注目する仕組み
位置エンコーディング
Transformerで、各単語の系列内の位置を表すベクトルを埋め込みベクトルに加え、語順の情報を与える仕組み
LSTM
記憶セルと3つのゲートで情報の書き込み・保持・読み出しを制御し、長い系列でも勾配消失を起こしにくくしたRNN
オートエンコーダ
入力をエンコーダで低次元の表現に圧縮し、デコーダでもとの入力を復元するように学習するニューラルネットワーク
重み
ニューラルネットワークで各入力に掛ける係数で、入力が出力に与える影響の強さと向きを表し、学習によって値が調整されるパラメータ
すべての用語(45語)
RNN
過去の時刻の情報を内部に保ち、次の時刻の計算に使うことで、時系列データの前後関係を扱えるようにしたニューラルネットワーク
Attention
クエリと入力の各要素との関連度から重みを求め、その重みで情報を加重和して、必要な部分に注目する仕組み
位置エンコーディング
Transformerで、各単語の系列内の位置を表すベクトルを埋め込みベクトルに加え、語順の情報を与える仕組み
インスタンス正規化
1つのサンプルの1つのチャネルごとに、縦横の位置にわたる値の平均と分散を求めて正規化する手法
LSTM
記憶セルと3つのゲートで情報の書き込み・保持・読み出しを制御し、長い系列でも勾配消失を起こしにくくしたRNN
エルマンネットワーク
前の時刻の隠れ層の値を文脈層に写し取り、次の時刻の隠れ層へ入力として戻す、単純な構造のRNN
オートエンコーダ
入力をエンコーダで低次元の表現に圧縮し、デコーダでもとの入力を復元するように学習するニューラルネットワーク
重み
ニューラルネットワークで各入力に掛ける係数で、入力が出力に与える影響の強さと向きを表し、学習によって値が調整されるパラメータ
カーネル(畳み込み)
CNNの畳み込み層で入力の上をずらしながら当てる小さな重みの配列で、局所的な特徴を取り出す役割をもつもの
Cutout
学習のたびに画像のランダムな位置を決まった大きさの正方形で塗りつぶし、一部が隠れた画像で学習させるデータ拡張の手法
CutMix
ある画像の一部の長方形を別の画像の同じ位置の部分に置き換え、正解ラベルを貼り付けた面積の比率で混ぜるデータ拡張の手法
教師強制
系列を生成するモデルの学習で、各時刻の入力に、前の時刻のモデルの出力ではなく正解の値を与える学習方法
グループ正規化
サンプルごとにチャネルをいくつかのグループに分け、グループ内の値の平均と分散で正規化する手法
グローバルアベレージプーリング
CNNの特徴マップをチャネルごとに全体で平均し、1チャネルを1つの値にまとめる処理
ゲート機構
0から1の値をとるゲートを情報に掛け合わせ、どの情報をどれだけ通すかを入力に応じて調整する、LSTMやGRUの中心となる仕組み
最大値プーリング
特徴マップを小さな領域に区切り、各領域の最大値だけを取り出して縮小する、CNNのプーリング処理
GRU
リセットゲートと更新ゲートの2つで情報の流れを制御する、LSTMを簡略化したRNN
CNN
小さなフィルタを入力の上でずらしながら特徴を取り出す畳み込み層を中心に組み立てた、ニューラルネットワーク
Seq2Seq
エンコーダが入力の系列を読み込んでベクトルにまとめ、デコーダがそれをもとに別の系列を1つずつ生成するモデル
時系列データ
売上や気温、センサーの値のように、時間の経過に沿って順番に記録されたデータ
ジョルダンネットワーク
前の時刻の出力層の値を状態層に戻し、次の時刻の隠れ層への入力として使う、初期の再帰型ニューラルネットワーク
ストライド
畳み込みやプーリングで、フィルタを入力の上でずらしていくときの移動の幅
Self-Attention
系列の各要素が同じ系列内のすべての要素との関連度を求め、その重みで情報を集めて文脈を反映した表現を作る仕組み
全結合層
前の層のすべてのユニットが次の層のすべてのユニットとつながり、入力の重み付き和にバイアスを足した値を出力するニューラルネットワークの層
双方向RNN
系列を先頭から読むRNNと末尾から読むRNNを組み合わせ、各時刻で前後両方の文脈を使えるようにしたモデル
Source-Target Attention
出力側の系列からクエリを、入力側の系列からキーとバリューを作るAttention
Dilated Convolution
フィルタの要素の間に間隔を空けて入力に適用することで、パラメータ数を増やさずに受容野を広げる畳み込み
データ拡張
学習データに意味を変えない範囲の変換を加えて新しいデータを作り、学習データの量と多様さを増やす手法
Depthwise Separable Convolution
畳み込みをチャネルごとの畳み込みと1×1の畳み込みに分け、計算量を減らす手法
特徴マップ
CNNの畳み込み層でフィルタを入力に適用した出力で、フィルタが捉える特徴が入力のどの位置にどの程度現れているかを表す値の並び
Transformer
RNNや畳み込みを使わず、Attentionを中心に系列内の関係をとらえる、2017年に提案されたニューラルネットワーク
noising
文中の単語をランダムに削除・挿入・入れ替え・置換するなどして、意味を大きく変えない程度の乱れを加えるデータ拡張の手法
バッチ正規化
ミニバッチ内のデータから特徴ごとの平均と分散を求め、層への入力を平均0・分散1にそろえて学習を安定させる手法
パディング
畳み込みの前に入力の周囲を0などの値で埋めて、縦横のサイズを広げておく処理
paraphrasing
文章の意味を保ったまま、類義語への置き換えや逆翻訳などで別の表現に言い換え、学習データを増やすデータ拡張の手法
BPTT
RNNを時刻ごとに展開して1つの深いネットワークとみなし、誤差逆伝播法で時間をさかのぼりながら勾配を計算する学習方法
VAE
入力を潜在変数の確率分布として表し、潜在空間から取り出した値をデコーダに通して新しいデータを生成できる、オートエンコーダの一種
不変性の獲得
入力の中で特徴の位置が少しずれても出力がほぼ変わらない性質を、プーリングなどによってCNNに持たせる仕組み
平均値プーリング
特徴マップを小さな領域に区切り、各領域に含まれる値の平均を出力して縮小する、CNNのプーリング処理
Multi-Head Attention
クエリ・キー・バリューを複数の組に射影し、並列にAttentionを計算して結果を結合する仕組み
Mixup
2つの学習データの入力と正解ラベルを同じ比率で混ぜ合わせ、その中間にあたる新しい学習データを作るデータ拡張の手法
Random Erasing
画像の中からランダムに選んだ長方形の領域をランダムな値で塗りつぶし、一部が隠れた画像を作るデータ拡張の手法
RandAugment
用意した変換の候補からランダムに選んだN個の変換を、すべて共通の強さMで画像に加えるデータ拡張の手法
レイヤー正規化
1つのサンプルの中で、その層のすべてのユニットの値をまとめて平均0・分散1にそろえる正規化の手法
ResNet
数層ごとに入力を出力へ直接足し合わせるスキップ結合を使い、100層を超える深さでも学習できるようにしたCNN

見分け方

  • バッチ正規化とレイヤー正規化:どの向きに平均をとるかで見分けます。複数のサンプルを見比べて特徴ごとにそろえるならバッチ正規化、1つのサンプルの中だけでそろえるならレイヤー正規化です。
  • CNN・RNNとTransformer:データのどの関係を捉えたいかで見分けます。近くの値の局所的なパターンならCNN、時刻の順に積み重なる文脈ならRNN、離れた位置も含めたすべての組の関係ならTransformerです。
比較表

バッチ正規化とレイヤー正規化の違い

観点バッチ正規化レイヤー正規化
提案2015年(IoffeとSzegedy)2016年(Baら)
平均と分散を計算する範囲ミニバッチ内の複数のサンプルにまたがり、特徴(チャネル)ごと1つのサンプルの中で、その層のすべてのユニットをまとめて
バッチサイズの影響小さいと統計量の推定がぶれ、学習が不安定になりやすい受けない(バッチサイズ1でも同じ計算)
推論時の統計量学習中に移動平均などで記録しておいた値を使う入力されたサンプルからその場で計算する(学習時と同じ)

CNN・RNNとTransformerの違い

観点CNNRNNTransformer
中心となる仕組み畳み込み層(小さなフィルタを位置をずらしながら掛ける)とプーリング層前の時刻の隠れ状態を次の時刻の計算に戻す再帰の経路Self-Attention(Multi-Head Attention)と位置ごとの全結合層
1層で参照する範囲フィルタが重なる近くの範囲だけ。層を重ねて広げる現在の入力と、1つ前の時刻の隠れ状態系列内のすべての位置(デコーダのSelf-Attentionでは、後ろの位置をマスクで隠す)
向いているデータの例画像、スペクトログラム、波形など、近くの値どうしが関係するデータセンサーの時系列、音声、文章など、並び順に意味がある系列データ文章などの系列データ。画像をパッチに分けるVision Transformerで画像にも広がった
順序・位置の扱いフィルタの重みが位置ごとに違うので、近くの値の並び方を区別できる読む順番そのものが順序の情報になるSelf-Attentionだけでは順序を区別できないため、位置エンコーディングを加える

LSTMとGRUの違い

観点LSTMGRU
提案1997年(HochreiterとSchmidhuber)。忘却ゲートは2000年の研究で追加2014年(Choら、機械翻訳の研究の中で)
ゲート入力ゲート・忘却ゲート・出力ゲートの3つリセットゲート・更新ゲートの2つ
情報を保つ場所隠れ状態とは別の記憶セル隠れ状態だけ(記憶セルを持たない)
重みの組(隠れ状態の大きさが同じとき)4組3組(LSTMの約4分の3)

見分け方:ゲートの数で見分けます。入力・忘却・出力の3つならLSTM、リセット・更新の2つならGRUです。

RNNとLSTMの違い

観点RNNLSTM
代表例・提案エルマンネットワーク(1990年)、ジョルダンネットワーク1997年にHochreiterとSchmidhuberが提案。忘却ゲートは2000年の研究で追加
過去の情報を保つ場所隠れ状態だけ隠れ状態と、それとは別の記憶セル
時刻ごとの更新前の隠れ状態と入力にそれぞれ重みを掛けて足し、tanh関数などに通して隠れ状態を作り直す記憶セル=忘却ゲート×前の記憶セル+入力ゲート×新しい候補。隠れ状態=出力ゲート×tanh(記憶セル)
ゲートなし入力ゲート・忘却ゲート・出力ゲート(シグモイド関数で0から1の割合を出す)

見分け方:LSTMはRNNと対立する手法ではなく、RNNの一種です。「RNNとLSTMの違い」は、正確には「単純なRNNとLSTMの違い」を指します。

Self-AttentionとSource-Target Attentionの違い

観点Self-AttentionSource-Target Attention
別名自己注意機構Encoder-Decoder Attention、クロスアテンション(Cross-Attention)
クエリを作る系列同じ系列出力側の系列(デコーダ)
キーとバリューを作る系列同じ系列入力側の系列(エンコーダの出力)
捉える関係1つの系列の中の要素どうしの関係(例:代名詞と、それが指す語)2つの系列の間の対応(例:訳語と、原文のどの語が対応するか)

見分け方:クエリとキー・バリューが同じ系列から来ていればSelf-Attention、別々の系列から来ていればSource-Target Attentionです。計算式は同じで、違うのは入力の出どころだけです。

この分野の問題を解く(72問)

6 ディープラーニングの応用例

出題ポイント

出題の目安:16〜20%

課題ごとの入力と出力の違い、代表的なモデルが前のモデルの何を改良したか、場面に合う技術を選べることが中心です。年代はモデルの登場順がわかる程度で十分です。

つまずきやすい点

  • 物体検出は物体の位置を矩形とクラスで示し、セマンティックセグメンテーションは画素ごとにクラスを付け、インスタンスセグメンテーションは同じクラスの物体も1つずつ区別する、という出力の違い
  • BERTはTransformerのエンコーダで前後両方の文脈を使って学習し、GPT系の大規模言語モデルはデコーダで前の語から次の語を予測するという違い
  • GANは生成器と識別器を競わせて学習し、Diffusion Modelはノイズを少しずつ加える過程を逆にたどってデータを生成する点

重要な用語

RLHF
人間が出力どうしを比べて評価したデータで報酬モデルを作り、その報酬を使った強化学習で、モデルの出力を人間の好みに近づける手法
AlexNet
2012年のILSVRCで従来の手法に大差をつけて優勝した、畳み込み層5層と全結合層3層からなるCNN
インスタンスセグメンテーション
画像の中の物体を1つずつ区別し、それぞれの物体が写っている領域を画素単位で切り出すタスク
WaveNet
音声の波形を、それまでのサンプルをもとに1サンプルずつ予測して生成する、DeepMindが開発したニューラルネットワーク
A-D変換
音声のように連続して変化するアナログ信号を、一定の間隔で読み取って数値に置き換え、デジタルデータにする処理
エッジAI
学習済みのAIモデルをスマートフォンやカメラ、工場の機器など、データが生まれる現場に近い端末で動かし、その場で推論する仕組み
すべての用語(127語)
RLHF
人間が出力どうしを比べて評価したデータで報酬モデルを作り、その報酬を使った強化学習で、モデルの出力を人間の好みに近づける手法
アルファスター(AlphaStar)
リアルタイム戦略ゲームのStarCraft IIで、人間の最上位層の水準に達したDeepMindのAI
AlexNet
2012年のILSVRCで従来の手法に大差をつけて優勝した、畳み込み層5層と全結合層3層からなるCNN
一般物体認識
制約のない実世界の画像に写る物体を、「いす」「自転車」のような一般的な名称(カテゴリ)で認識する課題
Image Captioning
画像を入力として、その画像に写っている内容を説明する自然な文章を生成するタスク
インスタンスセグメンテーション
画像の中の物体を1つずつ区別し、それぞれの物体が写っている領域を画素単位で切り出すタスク
WaveNet
音声の波形を、それまでのサンプルをもとに1サンプルずつ予測して生成する、DeepMindが開発したニューラルネットワーク
APE-X
多数のアクターが並列に集めた経験を共有の再生メモリに蓄え、1つの学習器が重要な経験を優先して学ぶ、分散型の深層強化学習の手法
Agent57
Atari 2600の57種類のゲームすべてで人間の基準スコアを上回った、DeepMindの深層強化学習のエージェント
A3C
複数のワーカーがそれぞれの環境で並行して行動し、共有のネットワークを非同期に更新するActor-Critic型の深層強化学習の手法
A-D変換
音声のように連続して変化するアナログ信号を、一定の間隔で読み取って数値に置き換え、デジタルデータにする処理
SENet
特徴マップのチャネルごとの重要度を学習して重み付けするSEブロックを、CNNに組み込んだモデル
SSD
解像度の異なる複数の特徴マップの各位置に置いた基準の枠をもとに、物体の位置とクラスを一度に予測する1段階型の物体検出モデル
エッジAI
学習済みのAIモデルをスマートフォンやカメラ、工場の機器など、データが生まれる現場に近い端末で動かし、その場で推論する仕組み
n-gram
文章中で連続するn個の文字や単語の並びと、その並びを単位として文章を扱う考え方
EfficientNet
ネットワークの深さ・幅・入力画像の解像度を1つの係数でバランスよく拡大する複合スケーリングを使った、CNNのモデル群
FCN(Fully Convolutional Network)
CNNの全結合層を畳み込み層に置き換え、画素ごとにクラスを出力するモデル
FPN
CNNの深い層の特徴マップを拡大しながら浅い層の特徴マップと足し合わせ、どの解像度でも物体を見分けやすい特徴マップを作る仕組み
MnasNet
スマートフォンの実機で測った推論時間と精度の両方を目的にして、NASで構造を探索したモバイル向けのCNN
ELMo
双方向のLSTMによる言語モデルを大量の文章で事前学習し、文脈に応じて変わる単語のベクトルを作る手法
OpenAI Five
5対5で戦う対戦ゲームのDota 2を、PPOによる大規模な自己対戦の深層強化学習で学んだ、OpenAIのゲームAI
Open Pose
画像に写る複数の人の関節の位置とそのつながりを推定し、人ごとの骨格をリアルタイムで求める姿勢推定の手法
オフライン強化学習
環境と新たにやり取りせず、過去に集めて保存したデータだけを使って方策を学習する強化学習の枠組み
音韻
ある言語で意味の区別に使われる音を、物理的な音声から抽象化してとらえたもの、またはその音の体系
音声合成
入力した文章などをもとに、人の話し声に近い音声の波形を人工的に作り出す技術
音声生成
学習した音声データの特徴をもとに、話し声や音楽などの新しい音声データを作り出す技術
音声認識
人が話した音声をコンピュータで解析し、話された内容を文字列に変換する技術
音素
ある言語において、入れ替えると語の意味の違いを生み出す、最小の音の単位
隠れマルコフモデル
外から観測できない状態が確率的に移り変わり、各状態から確率的に観測値が出力されると考える確率モデル
画像生成
学習した画像データの特徴をもとに、学習データにない新しい画像を作り出す技術
感情分析
文章や音声から、書き手や話し手の評価が肯定的か否定的か、またどのような感情を抱いているかを推定する技術
機械翻訳
ある言語で書かれた文章を、コンピュータを使って別の言語の文章に自動で翻訳する技術
基盤モデル
大規模で幅広いデータで事前学習され、ファインチューニングなどによって多様な下流タスクに適応できるモデル
GAN
データを作る生成器と、本物か偽物かを見分ける識別器を競わせながら学習し、本物に近いデータを生成できるようにするモデル
GoogLeNet
大きさの異なる畳み込みを並列に行うInceptionモジュールを重ね、2014年のILSVRCの画像分類部門で優勝したCNN
Grad-CAM
CNNが画像のどの部分を根拠に判断したかを、出力に対する勾配を使ってヒートマップで示す可視化手法
CLIP
インターネット上の大量の画像と文章の組を対照学習し、画像と文章を同じベクトル空間で比べられるようにしたモデル
GLUE
感情分析や含意関係の認識など9つの英語のタスクをまとめ、自然言語処理モデルの汎用的な言語理解の力を評価するベンチマーク
形態素解析
文を意味をもつ最小の単位である形態素に区切り、それぞれの品詞や活用形などを判定する処理
高速フーリエ変換(FFT)
信号に含まれる周波数成分を求める離散フーリエ変換(DFT)を、少ない計算量で行うアルゴリズム
構文解析
形態素解析で区切った単語や文節が、文の中でどのように結び付いているかという文の構造を求める処理
CycleGAN
対応するペア画像を使わずに、2つの画像の集合の間で行きと帰りの変換を同時に学習し、画像を別の領域の見た目へ変換するGAN
残差強化学習
既存の制御器の出力を土台にして、それだけでは足りない補正分(残差)だけを強化学習で学ぶ手法
CEC
LSTMの記憶セルの中核にあり、値を変えずに次の時刻へ渡すことで、誤差を減衰させずに過去へ伝える仕組み
CTC
入力のどの区間が出力のどの文字に当たるかが分からないデータでも、ブランク記号を導入して系列の変換を学習できるようにする手法
GPT
OpenAIが開発した、TransformerのDecoderを使い、文章の続きを予測するように事前学習した言語モデルのシリーズ
CBOW
word2vecの2つのモデルのうち、周辺の単語から中心の単語を予測するように学習して、単語の分散表現を得るモデル
自己教師あり学習
データの一部を隠して当てさせるなど、データ自身から自動で作った正解を使って学習し、人手のラベルなしで有用な表現を得る手法
姿勢推定
画像や動画に写る人の肩、ひじ、ひざなどの関節の位置を推定し、それらを結んで体の姿勢を求めるタスク
事前学習済みモデル
大規模なデータで汎用的な特徴をあらかじめ学習させ、別のタスクの出発点として再利用できるようにしたモデル
自然言語処理
日本語や英語のように人が日常で使う言葉を、コンピュータで解析したり生成したりする技術の総称
sim2real
シミュレータの中で学習した方策やモデルを、実世界のロボットなどに移して使うこと、またそのための技術
SHAP
協力ゲーム理論のシャープレイ値を使い、1件の予測値と平均的な予測値との差を、各特徴量の貢献度として公平に分け合う説明手法
状態表現学習
カメラ画像などの高次元の観測から、行動を決めるのに必要な情報を表す低次元の状態を学習する手法
情報検索
大量の文書などの中から、利用者の求める情報に合うものを探し出し、関連の強さに応じて示す技術
蒸留
大きく高性能な教師モデルの出力を手本にして小さな生徒モデルを学習させ、軽いモデルで教師に近い性能を得る手法
スキップグラム
word2vecの2つのモデルのうち、中心の単語から周辺の単語を予測するように学習して、単語の分散表現を得るモデル
スペクトル包絡
音声の周波数ごとの強さを表すスペクトルについて、細かな凹凸をならして得られる、なめらかな外形
SegNet
エンコーダの最大値プーリングで記録した位置を使い、デコーダで特徴マップを拡大する、セマンティックセグメンテーションのモデル
説明可能AI(XAI)
AIが予測や判断に至った根拠や理由を、人が理解できる形で示すための技術や研究分野
セマンティックセグメンテーション
画像のすべての画素に「人」「道路」「空」などのクラスを割り当て、画像を領域ごとに塗り分けるタスク
Zero-shot
解きたいクラスやタスクの例を1つも見せずに、事前に学習した知識と、クラス名や指示などの説明だけを手がかりに推論させる方式
大規模言語モデル
Transformerを用いて膨大な量の文章を学習した、パラメータ数がきわめて多い言語モデル
対照学習
似たデータどうしの表現を近づけ、似ていないデータどうしの表現を遠ざけるように学習して、有用な特徴表現を得る手法
宝くじ仮説
ランダムに初期化した大きなネットワークの中に、同じ初期値から単独で学習しても元と同程度の精度に達する部分ネットワークがあるという仮説
ダブルDQN
行動の選択と、その行動の価値の評価を別々のネットワークで行うことで、DQNで起きやすいQ値の過大評価を抑える手法
DALL-E
OpenAIが開発した、入力した文章(プロンプト)の内容に沿った画像を生成するText-To-Imageのモデル
単語埋め込み
意味の近い単語ほど近い位置にくるように、単語を数百次元ほどの実数ベクトルで表す方法や、そのベクトル
TF-IDF
文書内での単語の出現頻度(TF)と、その単語を含む文書の少なさ(IDF)を掛け合わせて、単語の重要度を表す指標
DQN
Q学習で求める行動価値(Q値)をCNNで近似し、ゲーム画面の画素から直接よい行動を学べるようにした深層強化学習の手法
DCGAN
生成器と識別器に畳み込みニューラルネットワークを使い、構造の指針を定めることで、GANによる画像生成の学習を安定させたモデル
DeepLab
Atrous Convolutionで解像度を保ちつつ広い範囲の文脈を捉える、セマンティックセグメンテーションのモデル群
Diffusion Model
データに少しずつノイズを加える過程を逆にたどり、ノイズを段階的に取り除くことで新しいデータを生成するモデル
Text-To-Image
文章で書いた指示(プロンプト)を入力として、その内容に合う画像を生成するタスクや技術
デュエリングネットワーク
Q値を、状態そのものの価値と、行動ごとの有利さ(アドバンテージ)に分けて推定するDQNのネットワーク構造
転移学習
あるタスクやデータで学習したモデルの知識を、別の関連するタスクの学習に生かす手法
DenseNet
ブロック内の各層に、それより前のすべての層の出力をチャネル方向に連結して入力する、密な結合をもつCNN
ドメインランダマイゼーション
シミュレータの照明や色、摩擦などの条件をランダムに変えながら学習し、現実の環境にも対応できるモデルを得る手法
NeRF
複数の視点から撮った写真をもとに、空間の各点の色と密度をニューラルネットワークで表し、撮影していない視点の画像を合成する手法
NAS(Neural Architecture Search)
ニューラルネットワークの構造を、人手に代わって自動で探索する手法
ノイジーネットワーク
ネットワークの重みに大きさを学習できるノイズを加え、その揺らぎによって探索を促す深層強化学習の手法
BERT
Transformerのエンコーダを大量の文章で事前学習し、前後両方向の文脈を捉えた表現を多くの言語タスクに転用できるようにしたモデル
Permutation Importance
1つの特徴量の値をデータ間で並べ替えたときの予測性能の低下から、その特徴量の重要度を測る手法
PaLM
Googleが2022年に発表した、約5,400億のパラメータをもつデコーダ型Transformerの大規模言語モデル
BoW(Bag-of-Words)
文書を単語の並び順を無視した単語の集まりとみなし、各単語の出現回数などを並べたベクトルで表す方法
パノプティックセグメンテーション
画像のすべての画素にクラスを割り当て、さらに人や車などの数えられる物体には個体の区別も付けるタスク
破滅的忘却
学習済みのニューラルネットワークに新しいタスクやデータを学習させると、以前に学習した内容の性能が大きく失われてしまう現象
パルス符号変調器(PCM)
アナログ信号を一定の間隔で標本化・量子化し、得た値を2進数の符号の列で表す変調方式、またはその装置
半教師あり学習
少量のラベル付きデータと大量のラベルなしデータを組み合わせて、モデルを学習する手法
PSPNet
大きさの異なる領域ごとにプーリングするピラミッドプーリングモジュールで、画像全体の文脈を捉えるセグメンテーションのモデル
PPO
更新の前後で方策が行動を選ぶ確率の比をクリップし、1回の更新で方策が大きく変わりすぎるのを防ぐ方策勾配法の一種
Pix2Pix
変換前の画像を条件として与える条件付きGANを使い、対応するペア画像から、画像を別の見た目の画像へ変換する方法を学習するモデル
Visual Question Answering
画像と、その画像についての自然言語の質問を入力として、質問への答えを出力するタスク
Vision Transformer
画像を小さな正方形のパッチに分けて単語の列のように扱い、Transformerで画像を分類するモデル
ファインチューニング
大量のデータで事前学習したモデルの重みを初期値とし、目的のタスクのデータで追加の学習を行って重みを調整する手法
Faster R-CNN
候補領域の抽出もニューラルネットワーク(RPN)で行うようにして、検出を高速にした2段階型の物体検出モデル
Fast R-CNN
画像全体から作った特徴マップを全候補領域で共有し、RoIプーリングで切り出すことで、R-CNNを高速にした物体検出モデル
fastText
単語を文字n-gramの集まりとして扱うことで未知語にもベクトルを与えられるようにした、単語の分散表現と文書分類のための手法
VGG
3×3の小さなフィルタの畳み込み層を何層も重ねて深くした、オックスフォード大学の研究グループが提案したCNN
フォルマント
声道の共鳴によって強められ、音声のスペクトル包絡に山として現れる周波数
物体検出
画像の中にある物体の位置を矩形(バウンディングボックス)で示し、それぞれが何であるかのクラスもあわせて推定するタスク
物体識別
画像に写っている物体が何であるかを、あらかじめ決めたクラスの中から選んで答える画像認識のタスク
Few-shot学習
新しいクラスやタスクについて、数個程度の少ない例だけを手がかりに、識別や推論ができるようにする方式
Flamingo
DeepMindが2022年に発表した、画像や動画と文章が交互に並んだ入力を読み取り、文章を出力する視覚言語モデル
プルーニング
学習済みのニューラルネットワークから出力への寄与が小さい重みや結合を取り除き、精度をなるべく保ったままモデルを小さくする手法
分散表現
単語などの意味を、多数の要素に情報を分散させた数百次元程度の実数ベクトルで表す表現方法
文章生成
言語モデルなどを使い、与えられた指示や文脈に続く新しい文章を、単語を順に選びながら作り出す技術
文書要約
長い文章や複数の文書から重要な内容を取り出し、短くまとめた文章を自動で作る技術
報酬成形
強化学習で本来の報酬に途中の手がかりとなる報酬を加えるなど、報酬の与え方を工夫して学習を進みやすくする方法
Mask R-CNN
Faster R-CNNに物体ごとのマスクを予測する分岐を加え、物体検出とインスタンスセグメンテーションを同時に行うモデル
マルチエージェント強化学習(MARL)
同じ環境の中で複数のエージェントが同時に行動し、それぞれが強化学習で行動の選び方を学ぶ枠組み
マルチタスク学習
関連する複数のタスクを1つのモデルで同時に学習し、タスク間で共通の知識を共有させて、それぞれの性能を高めようとする手法
メル尺度
人が感じる音の高さの違いが等間隔になるように、周波数を目盛り直した尺度
メル周波数ケプストラム係数(MFCC)
音声のスペクトル包絡の形を、人の聴覚に合わせたメル尺度のもとで少数の数値に要約した特徴量
モデル圧縮
学習済みモデルの精度をなるべく保ちながら、パラメータ数やデータ量、計算量を減らして、モデルを小さく軽くする技術
MobileNet
Depthwise Separable Convolutionで計算量を減らした、端末向けの軽量なCNN
U-Net
特徴を縮めて取り出す経路と解像度を戻していく経路をU字型に組み、両者をスキップ結合でつないだ、セグメンテーション用のCNN
Unified-IO
画像や文章、座標などの入出力を共通のトークン列で表し、視覚と言語にまたがる多数のタスクを1つで扱うモデル
YOLO
画像全体を1つのCNNに一度だけ通し、物体の位置とクラスを同時に予測する、高速な1段階型の物体検出モデル
LIME
説明したい1件の予測の周辺だけで、複雑なモデルの振る舞いを線形モデルなどの単純なモデルで近似し、判断に効いた特徴量を示す手法
量子化
モデルの重みなどの値を、より少ないビット数の粗い段階で表すことで、メモリ使用量を減らし、計算を速く軽くする手法
Rainbow
ダブルDQNやデュエリングネットワークなど、DQNに対する6つの改良を1つのエージェントに組み合わせた深層強化学習の手法
連続値制御
ロボットの関節に加える力の大きさのように、行動を有限個の選択肢から選ぶのではなく、実数の値で決める必要がある制御の課題
word2vec
単語と周辺の単語の一方から他方を予測するニューラルネットワークを学習し、単語の意味を密なベクトル(分散表現)で表す手法
話者識別
音声から声の特徴を取り出し、あらかじめ登録した複数の話者のうち、誰の声かを判定する技術
One-shot学習
新しいクラスやタスクについて、1つだけの例を手がかりに、識別や推論ができるようにする方式
ワンホットベクトル
語彙やカテゴリの数だけ次元をもち、該当する1つの要素だけが1で、残りの要素がすべて0のベクトル

見分け方

  • BERTとGPT:名前で覚えます。BERTのBはBidirectional(双方向)、EはEncoderです。GPTのGはGenerative(生成的)です。
  • CBOWとスキップグラム:予測の向きで見分けます。CBOWは「周りから真ん中」、スキップグラムは「真ん中から周り」です。
比較表

BERTとGPTの違い

観点BERTGPT
発表Google(2018年)OpenAI(最初のモデルは2018年)
名前の意味Bidirectional Encoder Representations from TransformersGenerative Pre-trained Transformer
使うTransformerの部分エンコーダデコーダ(Source-Target Attentionを除いた構造)
各単語が参照できる文脈前と後ろの両方前だけ(後ろの位置はマスクで隠す)

CBOWとスキップグラムの違い

観点CBOWスキップグラム
入力周辺の単語(ウィンドウ内の複数の語)中心の単語(1語)
予測するもの中心の単語周辺の単語(1語ずつ)
周辺の単語の扱いベクトルを平均して1つにまとめるため、並び順は区別しない周辺の語ごとに別々の予測にする。論文では、遠い語ほど学習に使う回数を減らしている
中心の単語1つあたりの予測の回数1回周辺の単語の数だけ

Faster R-CNNとYOLOの違い

観点Faster R-CNNYOLO
発表2015年に論文を公開(Shaoqing Ren、Kaiming Heら。NIPS 2015)2015年に論文を公開(Joseph Redmonら。CVPR 2016)
方式2段階型(ツーステージ)1段階型(ワンステージ)
候補領域RPNが、特徴マップの各位置に置いたアンカー(3種類の大きさ×3種類の縦横比で9個)をもとに挙げる挙げない。画像を7×7のグリッドに分け、各セルが枠を直接予測する
処理の流れCNNで特徴マップを作り、RPNが候補領域を挙げ、候補ごとに特徴を切り出してクラスの分類と枠の補正を行う画像全体を1つのCNNに一度通し、枠の位置、確からしさ、クラスの確率をまとめて出力する

見分け方:「候補領域」「RPN」「2段階」が手がかりならFaster R-CNN、「グリッド」「一度に予測」「リアルタイム」が手がかりならYOLOです。

GANと拡散モデル(Diffusion Model)の違い

観点GAN拡散モデル(Diffusion Model)
提案2014年(Ian Goodfellowら)2015年に基本の考え方(Sohl-Dicksteinら)、2020年のDDPM(Hoら)で高画質の生成を実現
構成生成器と識別器の2つのネットワークノイズを推定する1つのネットワーク(U-Netがよく使われる)
学習の仕組み識別器は本物と偽物を見分けるように、生成器は識別器をだますように、競い合って学習する訓練データにノイズを加えたものから、加えたノイズを当てるように学習する(DDPMでは、推定したノイズと実際のノイズの二乗誤差を小さくする)
新しいデータの作り方ランダムなノイズを生成器に1回通す純粋なノイズから出発し、ノイズ除去を何度も繰り返す(DDPMでは1,000ステップ)

見分け方:「識別器」「敵対的」「本物か偽物か」とあればGAN、「ノイズを段階的に取り除く」「逆拡散」とあれば拡散モデルです。

GANとVAEの違い

観点GANVAE
正式名敵対的生成ネットワーク(generative adversarial network)変分オートエンコーダ(variational autoencoder)
提案2014年(グッドフェローら)2013年(KingmaとWelling)
構成生成器と識別器エンコーダとデコーダ
学習の仕組み生成器と識別器が競い合う(ミニマックスゲーム)再構成誤差とKL情報量の和を小さくする

見分け方:「識別器」「敵対的」「本物か偽物か」という言葉があればGANです。「エンコーダが平均と分散を出力する」「再パラメータ化」「KL情報量」とあればVAEです。GANの生成器も潜在変数(ノイズ)を受け取るので、「潜在変数」という言葉だけでは決められません。

画像分類(物体識別)と物体検出の違い

観点画像分類(物体識別)物体検出
答える問い画像に何が写っているか画像のどこに何があるか
出力画像全体に対するクラス(各クラスの確率を出し、最も高いクラスを答えにすることが多い)物体ごとの矩形の座標、クラス、確からしさのスコア
1枚の画像に対する出力の数画像の中身によらず一定(ふつうはクラスを1つ答える)写っている物体の数によって変わる(0個のこともある)
学習用の正解データ画像ごとのクラスのラベル物体ごとの矩形の座標とクラス

見分け方:答えに「どこに」が含まれるかで見分けます。何が写っているかだけを答えるなら画像分類、物体の位置を矩形で示すなら物体検出です。

LIMEとSHAPの違い

観点LIMESHAP
発表2016年、Ribeiroら2017年、LundbergとLee
説明の作り方説明したい1件の入力を少しずつ変えたデータを多数作り、元の1件に近いものほど重く見て単純なモデルを当てはめる。その係数を説明とする特徴量を協力ゲームの参加者、予測値を報酬とみなし、予測値と基準値(平均的な予測値)の差をシャープレイ値で各特徴量に配分する
理論的な裏付け近さの重み付け、損失、単純さへの罰則を経験的に決める。SHAPの論文は、この決め方では局所的な正確さや一貫性が満たされない場合があると指摘した特徴量ごとの効果を足し合わせる説明のうち、局所的な正確さや一貫性などの性質を満たすのはシャープレイ値ただ1つと示されている
貢献度の合計予測値と基準値の差に一致するとは限らない予測値と基準値の差にぴったり一致する

見分け方:「協力ゲーム理論」「シャープレイ値」「貢献度の合計が予測値と基準値の差に一致する」と出てきたらSHAPです。「説明したい1件の近くで単純なモデルに近似する」ならLIMEです。

プルーニング・量子化と蒸留の違い

観点プルーニング量子化蒸留
減らすもの重みや結合、チャネルなどの数1つの値を表すビット数(例:32ビットの浮動小数点数を8ビットの整数に)モデルの規模(小さく設計した別のモデルに置き換える)
元のモデルの扱い元のモデルの一部を取り除く元のモデルの値を粗い段階で表し直す教師として手本に使い、別の生徒モデルを作る
パラメータの数減る変わらない生徒モデルを小さく設計した分だけ少なくなる
学習との関係取り除いた後、残った重みで再学習して精度を取り戻すのが基本学習後にそのまま変換する方法と、量子化の誤差を見込んで学習する方法がある生徒モデルを学習させる工程が必ず要る

見分け方:キーワードで見分けます。「取り除く」「刈り込む」ならプルーニング、「ビット数」「整数」「値を粗く表す」なら量子化、「教師」「生徒」「ソフトターゲット」なら蒸留です。

セマンティック・インスタンスとパノプティックの違い

観点セマンティックインスタンスパノプティック
クラスを付ける画素すべての画素検出した物体の画素だけすべての画素
同じクラスの物体の区別しない(3人いれば、まとめて1つの「人」の領域)する(物体ごとに別々のマスク)する(数えられる物体だけ)
空や道路などの背景扱う扱わない扱う(クラスだけを付け、個体は区別しない)
出力の形画素ごとのクラスを並べた、入力と同じ大きさの地図物体ごとのマスクとクラス(マスクどうしが重なることもある)画素ごとのクラスと個体の番号の組(画像全体を重なりなく塗り分ける)

見分け方:「個体を数えられるか」で見分けます。同じクラスの物体の個数がわかるのはインスタンスとパノプティックで、セマンティックではわかりません。

転移学習とファインチューニングの違い

観点転移学習ファインチューニング
事前学習済みの層の重み固定する(更新しない)初期値として使い、目的のデータで更新する
学習する部分付け替えた出力層など、新しく加えた部分だけ新しく加えた部分に加え、事前学習済みの層の一部または全体
事前学習済みモデルの役割入力から特徴を取り出す道具(特徴抽出器)学習を始めるときの初期値
学習の負担更新するパラメータが少なく、データも計算も少なくて済む更新するパラメータが多く、より多くのデータと計算が必要になりやすい

見分け方:事前学習済みの層の重みを動かすかどうかで見分けます。固定するなら狭い意味の転移学習、更新するならファインチューニングです。

Zero-shotとFew-shotの違い

観点Zero-shotFew-shot
与える例の数0(指示やクラス名などの説明だけ)少数。GPT-3の論文の評価では、多くの場合10〜100個
大規模言語モデルでの使い方「次の文を英語に訳してください」のように指示だけを書く入力と答えの組を数個並べ、最後に本番の入力を置く
画像認識での例CLIPで、クラス名を「〇〇の写真」という文にし、画像と最も近い文のクラスを選ぶクラスごとに数枚の画像だけを与え、新しいクラスを見分ける(N-way K-shotの課題)
重みの更新しないプロンプトで例を与える使い方ではしない。メタ学習などで数回だけ更新する方法もある

見分け方:「ショット」は与える例の数です。0ならZero-shot、1つならOne-shot、少数ならFew-shotと、数で見分けます。

この分野の問題を解く(93問)

7 AIの社会実装に向けて

出題ポイント

出題の目安:4〜6%

CRISP-DMのフェーズの順番と中身、PoCから本番運用までの流れ、MLOpsが必要な理由、データリーケージが起こる仕組みを、具体的な場面に当てはめて判断できれば十分です。

つまずきやすい点

  • CRISP-DMはビジネスの理解から始まり、評価の結果しだいで前のフェーズに戻る反復型のプロセスで、モデリングから始めたり一方向に進めたりするものではない点
  • PoCは本格的な開発の前に小さく試して実現できるかを確かめる段階で、PoCで精度が出ても、本番のデータや運用の体制で同じ結果になるとは限らない点
  • データリーケージは、予測の時点では使えない情報やテスト用データの情報が学習に紛れ込み、検証での評価が実力より高く出る現象で、情報が社外に漏れる情報漏洩とは別の意味である点

重要な用語

MLOps
機械学習モデルの開発と運用を一体として捉え、学習・デプロイ・監視・再学習を自動化して継続的に回すための考え方と仕組み
CRISP-DM
ビジネスの理解から展開(デプロイ)までの6つのフェーズで、データ分析プロジェクトの進め方を示した業種横断の標準プロセスモデル
データリーケージ
予測を行う時点では使えないはずの情報が学習や評価に紛れ込み、モデルの性能が実際より高く見積もられる現象
PoC
新しい技術やアイデアが実際に役立つかを、本格的な開発の前に小さな規模で試して確かめる検証
すべての用語(19語)
アジャイル
短い期間で計画・開発・評価を繰り返し、動くものを少しずつ作りながら、変化に合わせて計画を見直していく開発の進め方
アノテーション
画像や文章、音声などのデータに、機械学習の正解として使うラベルや、意味を表す情報を付け加える作業
Web API
HTTPなどWebの技術を使い、ネットワーク越しに決められた形式で依頼を送ると処理の結果を返す、プログラム同士をつなぐ窓口
ウォーターフォール
要件定義・設計・実装・テストなどの工程を上から順に進め、原則として前の工程に戻らないことを前提とする開発の進め方
MLOps
機械学習モデルの開発と運用を一体として捉え、学習・デプロイ・監視・再学習を自動化して継続的に回すための考え方と仕組み
オープン・イノベーション
社外の技術やアイデアを取り入れたり、自社の技術を外に出したりして、研究開発と事業化を進める考え方
オープンデータセット
大学や企業、行政機関などが誰でも入手できるように公開したデータの集まりで、機械学習では学習や性能評価に使われるもの
クラウド
サーバーやストレージ、ソフトウェアなどの計算資源を自前で持たず、インターネットなどのネットワークを通じて必要な分だけ借りて使う利用形態
CRISP-ML
CRISP-DMを土台に、運用後の監視と保守や品質保証の考え方を加えた、機械学習システム開発のプロセスモデル
CRISP-DM
ビジネスの理解から展開(デプロイ)までの6つのフェーズで、データ分析プロジェクトの進め方を示した業種横断の標準プロセスモデル
コーパス
文章や話し言葉を大量に集め、コンピュータで検索や分析ができるように整理した言語データ
産学連携
企業と大学などの研究機関が、共同研究や技術移転、人材の交流などを通じて協力し、研究の成果を事業や社会に生かす取り組み
Jupyter Notebook
ブラウザ上でコードを少しずつ実行し、その結果やグラフ、説明の文章を1つの文書にまとめて残せる対話型の開発環境
データサイエンティスト
統計学や機械学習などの知識を使ってデータを分析し、その結果をビジネスの課題の解決に結び付ける専門職
データリーケージ
予測を行う時点では使えないはずの情報が学習や評価に紛れ込み、モデルの性能が実際より高く見積もられる現象
Docker
アプリケーションと実行に必要なライブラリや設定をコンテナという単位にまとめ、別のマシンでも同じように動かせるようにするソフトウェア
Python
文法が簡潔で読みやすく、機械学習やデータ分析のライブラリが豊富なことから、AI開発で広く使われているプログラミング言語
PoC
新しい技術やアイデアが実際に役立つかを、本格的な開発の前に小さな規模で試して確かめる検証
BPR
業務の目的に立ち返り、仕事の流れや組織の役割を根本から設計し直して、コストや品質、スピードを大きく改善する取り組み

見分け方

  • アジャイルとウォーターフォール:「短い周期」「繰り返す」「変化への対応」とあればアジャイル、「工程を順に」「前の工程に戻らない」「最初に要件を確定」とあればウォーターフォールです。
比較表

アジャイルとウォーターフォールの違い

観点アジャイルウォーターフォール
進め方短い周期で計画・開発・評価・振り返りを繰り返す(スクラムでは1か月以内のスプリント)要件定義→設計→実装→テストと、工程を順に1回進める
要件の変更途中の変更を前提にし、開発の後期でも受け入れる最初に要件を固める。途中で変わると前の工程に戻る大きな手戻りになる
動くものを確かめる時期周期ごとに確かめるテストなどの後半の工程になる
計画と文書価値を認めたうえで、動くソフトウェアと変化への対応をより重んじる工程ごとに成果物を文書にまとめ、承認を経て次の工程に進む

この分野の問題を解く(24問)

8 AIに必要な数理・統計知識

出題ポイント

出題の目安:3〜6%

平均・中央値・分散・標準偏差、条件付き確率、期待値を与えられた数値から計算できること、各用語が何を表し機械学習のどこで使われるかを言えることが中心です。確率分布は、どんな場面を表すかを区別できれば十分です。

つまずきやすい点

  • 分散は平均との差を2乗して平均した値で単位も2乗になるため、元のデータと同じ単位でばらつきを表すには、平方根をとった標準偏差を使う点
  • 極端な外れ値が1つ入ると平均は大きく動くが、中央値はほとんど動かない点
  • 相関係数が大きくても因果関係があるとは限らず、第3の要因が両方に影響している疑似相関の場合がある点

重要な用語

確率分布
確率変数がとりうる値(連続型では値の範囲)ごとに、その起こりやすさがどう割り当てられているかを表したもの
期待値
確率変数がとりうる値を、それぞれが起こる確率で重みづけして平均した値で、くり返したときの平均的な結果を表すもの
最小二乗法
実測値とモデルによる予測値の差(残差)の2乗の和が最も小さくなるように、モデルのパラメータを決める方法
条件付き確率
ある出来事Bが起きたとわかっているときに、別の出来事Aが起きる確率P(A|B)
正規分布
平均を中心に左右対称な釣鐘型をした連続型の確率分布で、平均と標準偏差の2つの値で形が決まるもの
相関係数
2つの変数の間にある直線的な関係の強さと向きを、−1から1までの値で表す指標
すべての用語(26語)
移動平均
時系列データで、平均をとる区間(窓)を1つずつずらしながら直近の値の平均を求め、細かな変動をならして傾向を見やすくする方法
確率分布
確率変数がとりうる値(連続型では値の範囲)ごとに、その起こりやすさがどう割り当てられているかを表したもの
確率変数
サイコロの出る目のように、試行の結果によって値が決まり、どの値(または値の範囲)をとるかの確率が定まっている変数
確率密度
連続型の確率変数が、ある値の付近の値をどれだけとりやすいかを表し、区間で積分するとその区間に入る確率になる量
疑似相関
2つの変数の間に直接の因果関係がないのに、両方に影響する第3の変数などによって相関が生じ、因果関係があるように見える現象
期待値
確率変数がとりうる値を、それぞれが起こる確率で重みづけして平均した値で、くり返したときの平均的な結果を表すもの
帰無仮説と対立仮説
仮説検定で否定をめざして立てる「差はない」などの仮説と、それが否定されたときに採る「差がある」などの仮説
共分散
2つの変数がそれぞれの平均からどちらの向きにずれるかが、どの程度そろっているかを表す値
コサイン類似度
2つのベクトルがなす角度のコサインの値で、ベクトルの向きがどれだけ近いかを表す指標
最小二乗法
実測値とモデルによる予測値の差(残差)の2乗の和が最も小さくなるように、モデルのパラメータを決める方法
最尤法
手元のデータが得られる確率(尤度)が最も大きくなるように、確率モデルのパラメータを決める推定方法
条件付き確率
ある出来事Bが起きたとわかっているときに、別の出来事Aが起きる確率P(A|B)
正規分布
平均を中心に左右対称な釣鐘型をした連続型の確率分布で、平均と標準偏差の2つの値で形が決まるもの
相関係数
2つの変数の間にある直線的な関係の強さと向きを、−1から1までの値で表す指標
相互情報量
一方の変数の値を知ることで、もう一方の変数についての不確かさがどれだけ減るかを表す、2つの変数の依存の強さを示す量
代表値(平均値・中央値・最頻値)
データの分布の中心がどのあたりにあるかを、1つの数で要約して表す値
度数分布
データの値をいくつかの区間(階級)に分け、それぞれの区間に入るデータの個数を数えて、値の散らばり方を示したもの
二項分布
成功確率が一定で互いに独立な試行をn回くり返したとき、成功する回数が従う離散型の確率分布
外れ値
入力の誤りやまれな出来事などによって、ほかの大多数の値から大きく離れた位置に現れる値
標準偏差
データが平均からどの程度ばらついているかを表す値で、分散の正の平方根として求めるもの
ベイズの定理
P(A|B) = P(B|A) × P(A) / P(B)の式で条件付き確率の向きを入れ替え、観測した結果から原因の確率を求める定理
ベルヌーイ分布
成功か失敗かのように結果が2通りしかない試行を1回だけ行うとき、成功を1、失敗を0とした確率変数が従う確率分布
偏相関係数
2つの変数の両方に影響する第3の変数の影響を取り除いたうえで、2つの変数の間に残る相関の強さを表す値
ポアソン分布
一定の時間や範囲の中で、まれな出来事がランダムに起きる回数が従う離散型の確率分布で、平均回数λだけで形が決まるもの
マハラノビス距離
データのばらつきと変数どうしの相関を考慮して、ある点がデータの集まりの中心からどれだけ離れているかを測る距離
ユークリッド距離
各座標の差を2乗して足し合わせ、その平方根をとって求める、2つの点を結ぶ直線の長さ

見分け方

  • 共分散と相関係数:「単位に左右される」「範囲が決まっていない」なら共分散、「−1から1」「単位に左右されない」なら相関係数です。
  • 最小二乗法と最尤法:「2乗の和を最小にする」なら最小二乗法、「データが得られる確率(尤度)を最大にする」なら最尤法です。何を基準にし、それを最小にするのか最大にするのかで見分けます。
比較表

共分散と相関係数の違い

観点共分散相関係数
式Cov(x, y) = (1/n) × Σ(xi − xの平均)(yi − yの平均)。nの代わりにn − 1で割る式もあるr = Cov(x, y) / (xの標準偏差 × yの標準偏差)
値の範囲決まった範囲はない(単位やばらつきの大きさしだい)−1以上1以下
単位を変えたとき値が変わる(身長をcmからmmにすると10倍)変わらない
符号の意味正なら同じ向き、負なら逆向きに動く傾向共分散と同じ(標準偏差は正の値なので符号は変わらない)

最小二乗法と最尤法の違い

観点最小二乗法最尤法
パラメータを決める基準残差の2乗の和を最小にする尤度(そのデータが得られる確率)を最大にする
確率分布の仮定不要。当てはまりの基準だけで計算できる必要。正規分布やベルヌーイ分布など、データが従う分布を先に決める
主な対象回帰(数値の予測)の係数の推定回帰、分類、分布のパラメータの推定など、確率モデル全般
計算のしかた線形回帰なら、偏微分して0とおいた式から解を直接求められる対数尤度を最大にする。ロジスティック回帰などでは解を式で直接求められず、繰り返し計算で求める

この分野の問題を解く(21問)

9 AIに関する法律と契約

出題ポイント

出題の目安:10〜13%

各法律の中心になる定義と要件(個人情報と個人データの違い、著作権法30条の4の考え方、営業秘密の3要件など)を正確に言え、事例を読んで、どの法律のどの論点に当たるかを判断できれば十分です。

つまずきやすい点

  • 個人情報、個人データ、保有個人データは範囲が段階的に狭くなる別の概念で、どれに当たるかによって事業者が負う義務が変わる点
  • 著作権法30条の4により、AIの学習のための著作物の利用は原則として許諾なしにできるが、思想や感情を享受する目的があわせてある場合や、著作権者の利益を不当に害する場合は対象外になる点
  • 営業秘密は秘密管理性・有用性・非公知性の3要件を満たす情報、限定提供データは業として特定の者に提供するため電磁的方法で相当量蓄積・管理されたデータで、営業秘密に当たるものは限定提供データから除かれる点

重要な用語

委託(個人データの取扱いの委託)
事業者が、個人データの入力、編集、分析などの処理を、契約の形を問わず他の者に行わせる行為
請負契約
請負人が仕事の完成を約束し、注文者がその仕事の結果に対して報酬を支払うことを約束する契約
営業秘密
秘密として管理され、事業活動に有用で、公然と知られていない技術上または営業上の情報
AI生成物
生成AIなどのAIが、人の指示(プロンプト)などをもとに出力した文章、画像、音楽、プログラムなど
AI・データの利用に関する契約ガイドライン
データの取引とAI開発の契約で検討すべき論点やモデル契約を、経済産業省が示した手引き
仮名加工情報
他の情報と照合しない限り特定の個人を識別できないように、氏名などを削除・置換して個人情報を加工した情報
すべての用語(36語)
委託(個人データの取扱いの委託)
事業者が、個人データの入力、編集、分析などの処理を、契約の形を問わず他の者に行わせる行為
請負契約
請負人が仕事の完成を約束し、注文者がその仕事の結果に対して報酬を支払うことを約束する契約
営業秘密
秘密として管理され、事業活動に有用で、公然と知られていない技術上または営業上の情報
AI生成物
生成AIなどのAIが、人の指示(プロンプト)などをもとに出力した文章、画像、音楽、プログラムなど
AI・データの利用に関する契約ガイドライン
データの取引とAI開発の契約で検討すべき論点やモデル契約を、経済産業省が示した手引き
NDA(秘密保持契約)
取引や検討のために相手に開示する秘密情報について、目的外の利用や第三者への開示をしないことを当事者間で約束する契約
仮名加工情報
他の情報と照合しない限り特定の個人を識別できないように、氏名などを削除・置換して個人情報を加工した情報
競争制限
カルテルや他社の排除などによって、市場で事業者が価格や品質を競い合う働きを弱める行為や状態
限定提供データ
業として特定の者に提供するために、電磁的方法で相当量蓄積・管理されている技術上または営業上の情報(営業秘密を除く)
公正競争阻害性
独占禁止法が不公正な取引方法を規制する根拠となる、公正な競争を阻害するおそれ
個人識別符号
顔認証データや旅券番号、マイナンバーなど、それだけで特定の個人を識別できるものとして政令などで定められた符号
個人情報
生存する個人に関する情報で、氏名などにより特定の個人を識別できるもの、または個人識別符号を含むもの
個人データ
個人情報データベース等を構成する個人情報、つまり検索できるように体系的にまとめたデータベースなどに含まれる個人情報
SaaS
事業者がクラウド上で運用するソフトウェアを、利用者がインターネット経由でサービスとして使う提供形態
GDPR
EU域内の個人データの取扱いと域外への移転について定め、2018年5月から適用されているEUの一般データ保護規則
十分性認定
GDPRにもとづき欧州委員会が、EU域外の国や地域のデータ保護の水準を十分と認め、そこへの個人データの移転を個別の許可なく認める決定
準委任契約
法律行為でない事務の処理を委託する契約で、受託者が仕事の完成ではなく、注意を尽くして事務を処理することを約束するもの
職務発明
従業者等がした発明のうち、その性質が使用者等の業務範囲に属し、発明に至った行為が現在または過去の職務に属するもの
新規性
発明が特許出願の前に公然知られたり、公然実施されたり、刊行物やインターネットで公開されたりしていないことを求める特許の要件
進歩性
その技術分野の通常の知識をもつ者(当業者)が、出願前の公知技術から容易に発明できたものではないことを求める特許の要件
精度保証
AIの開発やサービス提供の契約で、学習済みモデルの出力が一定の精度を満たすことを、提供する側が約束する取り決め
創作性
表現に作者の何らかの個性が表れていることを求める、著作物として著作権法で保護されるための要件
第三者提供
個人情報取扱事業者が個人データを本人と自社以外の者に渡すことで、原則としてあらかじめ本人の同意が必要とされる行為
知的財産権
発明、著作物、商標などの知的財産について、法令で定められた権利や、法律上保護される利益に係る権利をまとめた呼び名
著作権侵害
著作権者の許諾も権利制限規定の根拠もなく、他人の著作物を複製・翻案・公衆送信などの方法で利用する行為
著作権法30条の4
著作物に表現された思想や感情を享受しない目的であれば、AIの学習などのために原則として許諾なく著作物を利用できると定めた規定
著作物
思想又は感情を創作的に表現したもので、文芸、学術、美術又は音楽の範囲に属する、著作権法で保護される対象
データ利用権
データを誰がどの目的・範囲で利用し、加工し、第三者に提供できるかについて、主に当事者間の契約で定める権限
匿名加工情報
特定の個人を識別できず、元の個人情報に復元することもできないように個人情報を加工した情報
特許権
特許庁の審査を経た設定登録によって発生し、特許を受けた発明を業として一定期間独占的に実施できる権利
発明
特許法上、自然法則を利用した技術的思想の創作のうち高度のもの
保守契約
システムやAIモデルが稼働した後に、障害への対応や点検、改善などの作業を一定の期間続けて行うことを約束する契約
保有個人データ
個人データのうち、本人から請求される開示、訂正、利用停止などのすべてに事業者が応じる権限をもつもの(政令で定めるものを除く)
要配慮個人情報
人種、信条、病歴、犯罪の経歴など、不当な差別や偏見につながらないよう取扱いに特に配慮を要する個人情報
利用規約
サービスの提供者が多数の利用者と共通の条件で取引するために、あらかじめ用意しておく契約条件
利用目的
事業者が個人情報を何のために使うのかをできる限り特定して定め、原則としてその範囲内で取り扱わなければならない目的

見分け方

  • 営業秘密と限定提供データ:秘密にしておく情報か、相手を限って共有するデータかで分けます。前者が営業秘密、後者が限定提供データです。
  • GDPRと個人情報保護法:GDPRは「取扱いの入口で根拠を確かめる」、日本法は「利用目的を決め、影響の大きい場面で同意を取る」と整理すると、法的根拠の違いを見分けやすくなります。
比較表

営業秘密と限定提供データの違い

観点営業秘密限定提供データ
定義の条文不正競争防止法2条6項不正競争防止法2条7項
守る情報のイメージ社内で秘密にしておく情報特定の相手と共有して使ってもらうデータ
3つの要件秘密管理性、有用性、非公知性限定提供性、相当蓄積性、電磁的管理性
公然と知られていないこと必要不要(ただし、無償で公衆に利用可能な情報と同じデータは対象外)

GDPRと個人情報保護法の違い

観点GDPR個人情報保護法
正式名称と形式EU一般データ保護規則(Regulation (EU) 2016/679)。規則なので、加盟国に直接適用される個人情報の保護に関する法律(平成15年法律第57号)。民間事業者と行政機関等の両方を対象とする日本の法律
適用の開始2018年5月25日(99条)2005年4月に全面施行。改正により、2017年に個人識別符号、2022年に仮名加工情報などが加わった
保護の対象個人データ:識別された、または識別可能な自然人に関するあらゆる情報。オンライン識別子や位置データも識別子の例に挙がる(4条1号)個人情報:生存する個人に関する情報で、特定の個人を識別できるもの、または個人識別符号を含むもの(2条1項)。それに当たらない閲覧履歴などは個人関連情報(2条7項)
取扱いの根拠同意、契約の履行、法的義務、生命に関する利益、公共の利益、正当な利益のいずれかが必要(6条1項)取扱い全般の根拠は求めない。利用目的を特定し、目的外利用、要配慮個人情報の取得、第三者提供などの場面で原則として本人の同意を求める(17条、18条、20条2項、27条)

委託・第三者提供と共同利用の違い

観点委託第三者提供共同利用
根拠条文個人情報保護法27条5項1号、25条個人情報保護法27条1項〜4項個人情報保護法27条5項3号・6項
受け手の立場任された業務の範囲で委託元と一体のものとして扱われ、第三者に当たらない第三者共同利用者として、第三者に当たらない
本人の同意不要原則として必要。法令に基づく場合などの例外と、委員会への届出によるオプトアウトがある不要
あらかじめ本人に知らせること法律上の定めはない(利用目的の達成に必要な範囲で委託する)原則は同意を得る。オプトアウトでは、提供する項目や停止の求めの受付方法などを通知するか容易に知り得る状態に置き、委員会に届け出る共同利用する旨、データの項目、共同利用者の範囲、利用目的、管理について責任を有する者の氏名または名称などを、通知するか容易に知り得る状態に置く

見分け方:受け手が誰のためにデータを使うかで見分けます。渡した側の業務のためなら委託、受け手自身の目的のためなら第三者提供、あらかじめ本人に知らせた事業者どうしで共通の目的のために使うなら共同利用です。

個人情報・個人データと保有個人データの違い

観点個人情報個人データ保有個人データ
定義の条文個人情報保護法2条1項個人情報保護法16条3項個人情報保護法16条4項
範囲生存する個人に関する情報で、氏名などにより特定の個人を識別できるもの(他の情報と容易に照合して識別できるものを含む)、または個人識別符号が含まれるもの個人情報データベース等を構成する個人情報個人データのうち、事業者が開示、訂正、利用停止、消去などを行う権限をもつもの
具体例受け取ったばかりで整理していない名刺の氏名、顧客の氏名を書き留めた手書きのメモ顧客管理システムに登録した顧客の氏名と連絡先、そこから印刷した一覧表の記載自社で集めて管理している会員データベースの会員情報
当たらないものの例亡くなった人だけに関する情報、法人そのものに関する情報データベースに入力する前の、入力用の帳票に書かれた情報処理を任されているだけで、開示などの権限が委託元にあるデータ(任された側から見た場合)。存否が明らかになると本人や第三者の生命・財産などに危害が及ぶおそれがあるもの(施行令5条)

見分け方:3つは入れ子の関係です。個人情報の中に個人データがあり、その中に保有個人データがあります。内側の区分ほど範囲は狭く、外側の義務に上乗せして義務が増えます。

個人情報と個人識別符号の違い

観点個人情報個人識別符号
定義の条文個人情報保護法2条1項個人情報保護法2条2項、施行令1条、施行規則2条・4条
2つの関係個人識別符号を含む情報も含む、より広い概念(2条1項2号)個人情報に当たるかを決める材料の1つ。含まれていれば、その情報はそれだけで個人情報になる
当たるかの決まり方氏名などの記述や、他の情報との容易な照合によって特定の個人を識別できるかを、事業者の実態に即して事例ごとに判断する政令と規則の一覧に載っているかで決まる。身体の特徴は、本人を認証できる水準に変換したものに限る。一覧にない番号は、一人ひとり異なるものでも当たらない
種類記述等で特定の個人を識別できるもの(1号)と、個人識別符号を含むもの(2号)の2つの型身体の特徴をコンピュータ用に変換した符号(2条2項1号)と、サービスの利用やカードの発行などで一人ひとり異なるように割り当てられる番号(2号)。どちらも政令と規則で定めたものに限る

見分け方:個人識別符号は「一覧に載っているか」、個人情報は「誰のことかわかるか」で判断します。一覧にない番号でも、氏名などと結び付いて特定の個人を識別できれば、その情報は個人情報です。

新規性と進歩性の違い

観点新規性進歩性
根拠条文特許法29条1項特許法29条2項
問うこと同じ発明が出願前にすでにあるか出願前の技術から、当業者が容易に考えつけたか
比べ方出願された発明と公知の発明を1つずつ対比し、相違点があるかを見る。2つ以上の公知の発明を組み合わせて対比はしない主引用発明を1つ選んで相違点を明らかにし、ほかの公知技術や技術常識を組み合わせて、容易に到達できたと論理付けできるかを見る
効果の扱い相違点の有無で決まり、効果の大小は問わない引用発明より有利な効果は、進歩性を認める方向に働く

見分け方:「同じものがすでにあるか」なら新規性、「すでにあるものから簡単に思いつけるか」なら進歩性です。

教師あり学習・教師なし学習と強化学習の違い

観点教師あり学習教師なし学習強化学習
学習の手がかり入力と正解(ラベル)の組入力データだけ行動の結果として得る報酬
学ぶもの入力から正解を予測する関数データの構造(まとまり、少ない変数での表し方)状態に応じて行動を選ぶ方策
代表的な課題回帰、分類クラスタリング、次元削減ゲームの攻略、ロボットの制御
代表的な手法線形回帰、ロジスティック回帰、決定木、SVM、ランダムフォレストk-means法、ウォード法、主成分分析(PCA)、t-SNEQ学習、SARSA、方策勾配法

見分け方:まず、正解(ラベル)が与えられているかを確かめます。正解があれば教師あり学習、なければ教師なし学習です。

特許権と著作権の違い

観点特許権著作権
根拠となる法律特許法著作権法
守る対象発明:自然法則を利用した技術的思想の創作のうち高度のもの(2条1項)著作物:思想又は感情を創作的に表現したもので、文芸、学術、美術又は音楽の範囲に属するもの(2条1項1号)
アイデアと表現技術的なアイデアそのものを守る。書き方や表現を変えても、同じ技術を使えば効力が及ぶ具体的な表現を守る。アイデアや、プログラム言語・規約・解法(アルゴリズム)は守らない(10条3項)
権利の発生特許庁への出願、審査、特許料の納付を経た設定の登録で発生する(66条)創作した時点で、手続なしに発生する(17条2項、無方式主義)

見分け方:「技術のアイデアか、表現か」で見分けます。学習手法や処理の仕組みは特許権、ソースコードの書き方や文章・画像の表現は著作権の対象です。

匿名加工情報と仮名加工情報の違い

観点匿名加工情報仮名加工情報
定義の条文個人情報保護法2条6項個人情報保護法2条5項
加工の程度特定の個人を識別できず、元の個人情報を復元できないようにする他の情報と照合しない限り、特定の個人を識別できないようにする
加工基準の主な中身氏名などや個人識別符号の削除に加え、特異な記述やデータ同士をつなぐ符号の削除なども行う(規則34条)氏名などや個人識別符号の削除に加え、クレジットカード番号など財産的被害のおそれがある記述を削除する(規則31条)
個人情報に当たるか当たらない元の個人情報や削除情報等を持つ作成事業者の手元では、個人情報に当たる

見分け方:「匿名」は誰か分からず元にも戻せない状態、「仮名」は名前を仮の符号に置き換えただけで、対応表と照合すれば戻せる状態だと考えます。

請負契約と準委任契約の違い

観点請負契約準委任契約
根拠条文民法632条以下民法656条(委任の規定を準用)
約束するもの仕事の完成事務の処理
完成義務ありなし(善管注意義務を負う)
報酬仕事の結果に対して支払う。目的物の引渡しが必要なら、引渡しと同時に支払う報酬は特約で定め、原則として事務の処理後に支払う。成果に対して支払う成果完成型も選べる(648条の2)

見分け方:「完成させる約束」か「注意を尽くして作業する約束」かで見分けます。前者が請負、後者が準委任です。

この分野の問題を解く(62問)

10 AI倫理・AIガバナンス

出題ポイント

出題の目安:9〜12%

ハードローとソフトローの違い、リスクベースアプローチの考え方、主要な原則の意味を押さえ、事例を読んで、どの価値が損なわれていて何が適切な対応かを判断できれば十分です。

つまずきやすい点

  • ハードローは法的な拘束力をもつ法律や規則、ソフトローはガイドラインのように拘束力のない規範で、日本のAI事業者ガイドラインはソフトローにあたる点
  • リスクベースアプローチは、リスクの大きさに応じて対策の重さを変える考え方で、すべてのAIに同じ規制をかけることでも、リスクのあるAIを一律に禁止することでもない点
  • フィルターバブルは推薦などで自分の好みに合う情報ばかりに囲まれる状態、エコーチェンバーは似た意見の人どうしのやり取りで特定の意見が強まっていく現象で、起こる仕組みが違う点

重要な用語

Adversarial Attack
人には気づきにくい小さな細工を入力データに加え、AIモデルに誤った判断をさせる攻撃
アルゴリズムバイアス
学習データや設計の偏りが原因で、AIなどのアルゴリズムが特定の個人や集団に不当に不利な結果を出す傾向
AIガバナンス
AIの利活用で生じるリスクを受容可能な水準で管理しつつ便益を最大化するための、技術的・組織的・社会的な仕組みの設計と運用
AI事業者ガイドライン
総務省と経済産業省が、AIを開発・提供・利用する事業者に向けて、AIガバナンスの統一的な指針として示したソフトロー
AI倫理
AIの開発や利用が人や社会を傷つけないよう、守るべき価値や行動のあり方を考える分野と、その考えにもとづく原則
エコーチェンバー
SNSなどで似た考えの人どうしが集まってやりとりするうちに、同じ意見が反響するように繰り返され、増幅・強化されていく現象
すべての用語(43語)
Adversarial Attack
人には気づきにくい小さな細工を入力データに加え、AIモデルに誤った判断をさせる攻撃
アルゴリズムバイアス
学習データや設計の偏りが原因で、AIなどのアルゴリズムが特定の個人や集団に不当に不利な結果を出す傾向
EU AI法(AI Act)
AIシステムをリスクの大きさで分類し、区分ごとに禁止や義務を定めた、EUの包括的なAI規制の法律
AIガバナンス
AIの利活用で生じるリスクを受容可能な水準で管理しつつ便益を最大化するための、技術的・組織的・社会的な仕組みの設計と運用
AI事業者ガイドライン
総務省と経済産業省が、AIを開発・提供・利用する事業者に向けて、AIガバナンスの統一的な指針として示したソフトロー
AIとの協働
人とAIがそれぞれ得意な作業を分担し、人がAIの出力を確かめて判断に活かしながら、一緒に業務を進める働き方
AIに対する監査
AIを管理する仕組みが方針どおりに設計・運用され、有効に機能しているかを、設計や運用から独立した専門性のある者が評価する活動
AIの軍事利用
情報の分析や兵器の制御など軍事目的でのAIの活用と、人の関与なしに攻撃する自律型兵器などをめぐる倫理的・法的な課題
AIポリシー
組織がAIを開発・提供・利用するうえで目指すことと守る原則を、経営上のゴールと整合させて定めた自社の基本方針
AI倫理
AIの開発や利用が人や社会を傷つけないよう、守るべき価値や行動のあり方を考える分野と、その考えにもとづく原則
エコーチェンバー
SNSなどで似た考えの人どうしが集まってやりとりするうちに、同じ意見が反響するように繰り返され、増幅・強化されていく現象
価値原則
人間の尊厳、公平性、プライバシー、透明性など、AIの開発や利用で尊重すべき価値を、行動の指針となる原則として言葉にしたもの
カメラ画像利活用ガイドブック
カメラ画像を商用目的で使う事業者に向けて、プライバシー保護のための配慮事項を総務省と経済産業省などが整理した手引き
公平性の定義
AIの予測や判断が公平かどうかを確かめるために、グループ間や個人間で何をそろえれば公平とみなすかを定めた基準
再現性
同じデータ、プログラム、設定などの条件でAIの学習や推論をやり直したときに、同じ結果が得られる性質
サンプリングバイアス
データの集め方や対象の選び方が原因で、集めたデータ(標本)が対象全体(母集団)を正しく代表しなくなる偏り
死者への敬意
AIで故人の声や姿を再現したり故人の情報を扱ったりするときに、故人の尊厳や生前の意思、遺族の心情を尊重すべきだという考え方
スキルの喪失
AIなどに作業や判断を任せ続けることで、人が持っていた技能が衰えたり、技能を身につける機会そのものが失われたりする現象
セキュリティ・バイ・デザイン
システムの企画・設計の段階からセキュリティ対策を組み込み、開発の全工程を通じて安全性を確保する考え方
センシティブ属性
性別、人種、年齢、宗教など、それを理由にした不当な差別が生じないよう、AIの公平性の観点から特に配慮すべき個人の属性
ソフトロー
ガイドラインや業界の自主ルールのように、法的拘束力や罰則はないものの、関係者の行動を方向づける規範
ダイバーシティとインクルージョン
多様な背景をもつ人がいること(多様性)と、その誰もが排除されずに参加できること(包摂性)を目指す考え方
代理変数
性別や人種などのセンシティブ属性と強く相関するために、その属性を直接使わなくても、実質的にその代わりとして働いてしまう変数
ディープフェイク
ディープラーニングなどのAI技術を使い、実在の人物が実際にはしていない言動をしているように見せかけた、偽の映像・画像・音声
データ汚染
AIの学習に使われるデータに攻撃者が不正なデータを紛れ込ませ、学習後のモデルの判断を誤らせたり、ゆがめたりする攻撃
データ窃取
AIの学習に使われたデータやAIシステムが扱うデータを、権限のない者が不正に持ち出したり、モデルの出力から推測して復元したりする攻撃
データの偏り
AIの学習や評価に使うデータが、特定の集団の過不足や社会の偏見を含み、現実の対象や望ましい判断を正しく反映していない状態
データの来歴
データがどこから来て、いつ、どのような目的と方法で集められ、その後どう加工・利用されてきたかという経緯の情報
トレーサビリティ
データの出所、モデルの版、開発や運用中の意思決定などを記録し、AIの結果が生まれた経緯を後から追跡できる状態
人間の関与(Human-in-the-Loop)
AIの判断の流れに人を組み込み、人が出力を確認・修正したり止めたりできるようにする仕組み
人間の自律性
人がAIに判断を操作されたり過度に依存したりせず、自分の意思で考えて選択し、決定できる状態
ハードロー
法律や規則のように法的拘束力をもち、違反すると罰則や行政処分などの強制的な手段で守らせることができる規範
フィルターバブル
推薦や検索のアルゴリズムが好みに合う情報を優先して表示することで、利用者が異なる意見や情報から隔てられる状態
フェイクニュース
事実ではない内容や誤解を招く内容を、ニュースや事実であるかのように見せて広める情報
プライバシー・バイ・デザイン
問題が起きてから対処するのではなく、企画・設計の段階からプライバシー保護の仕組みを組み込んでおく考え方
ブラックボックス
AIなどの仕組みについて、入力と出力はわかっても、内部でどのような過程を経てその出力に至ったのかを人が理解できない状態
モデル汚染
配布される学習済みモデルや、共同で学習中のモデルの重みなどに攻撃者が細工を加え、狙いどおりに誤動作させる攻撃
モデル学習の電力消費
AIモデルの学習で多数のGPUやデータセンターが大量の電力を使うことと、それに伴う温室効果ガスの排出などの環境負荷
モデル窃取
公開されたAIモデルに多数の入力を送り、返ってくる出力をもとに、元のモデルとほぼ同じ働きをするモデルを作り出す攻撃
モニタリング(AIシステムの運用監視)
運用中のAIの性能や入出力を継続的に見張り、精度の劣化や偏りなどの問題を早く見つけて対処につなげる活動
リスクベースアプローチ
AIの用途ごとに危害の大きさと起こりやすさを見積もり、リスクが大きいものほど強い対策を求める考え方
倫理アセスメント
AIを開発・導入する前や運用中に、そのAIが人や社会に与えうる差別やプライバシー侵害などの影響を洗い出し、対策を決める評価
労働力不足
少子高齢化による生産年齢人口の減少などによって、社会や企業が必要とする働き手を十分に確保できなくなる状態

見分け方

  • データ汚染とAdversarial Attack:「いつ、何に細工するか」で見分けます。学習データに混ぜるならデータ汚染、運用中のモデルへの入力に加えるならAdversarial Attackです。
  • ソフトローとハードロー:区別の基準は、法的拘束力があるかどうかです。作ったのが国か民間か、内容が細かいかどうかでは決まりません。
比較表

データ汚染とAdversarial Attackの違い

観点データ汚染Adversarial Attack
仕掛ける段階学習時(学習データの収集・加工やシステム開発の段階)推論時(運用中のシステムへの入力)
細工する対象学習データ(データそのものやラベル)推論時に入力するデータ
モデルへの影響汚れたデータで学習したモデルの判断がゆがむモデルは変わらない。細工された入力に対して誤る
誤りが表れる入力通常の入力でも精度が下がる場合と、合図(トリガー)を含む入力のときだけ誤るバックドアの場合がある細工された入力

ソフトローとハードローの違い

観点ソフトローハードロー
法的拘束力なしあり
守らなかったとき法的な制裁はない罰則、行政処分、損害賠償などで強制されうる
例AI事業者ガイドライン(総務省・経済産業省)、OECDのAI原則、業界団体の自主規制EUのAI法、GDPR、個人情報保護法、著作権法
作り方・見直し方策定した機関が見直せるので、改定しやすい立法の手続きが必要で、制定や改正に時間がかかる

この分野の問題を解く(52問)

このシートを試験中に見てもいいですか?

このシートは、試験の前に要点を見直すためのものです。オンライン試験で手元の資料やメモを見てよいかを、JDLAは公表していません(2026年11月1日時点)。一方で、受験規約の画面例は「カンニング」を不正行為の例に挙げ、不正が疑われる場合も結果を取り消すことがあるとしています。会場試験では、携帯電話や上着を含む手荷物をすべて指定のロッカーに預けます(ロッカーがない会場では、会場に応じて扱いが異なります。JDLA「よくある質問」)。

明記されていないことは、認められていることを意味しません。規約の文言と問い合わせ先は「G検定の受験ルールと禁止事項」にまとめています。

出題の目安は当サイトの推計です(JDLAは分野別の出題数を公表していません)。

表示設定

テーマ
文字の大きさ
問題演習