G検定 用語集
シラバス第1.4版の大項目・中項目の順に並べています。
1人工知能とは
19語
技術1人工知能の定義
- AI効果
- AIで新しいことが実現されて仕組みが知られると、人々がそれを知能ではなく単なる自動処理とみなすようになる現象
- エージェント
- センサーなどで周囲の環境を知覚し、その情報にもとづいて行動を選び、環境に働きかける主体（技術9・技術29にも掲載）
- 人工知能
- 推論、判断、学習といった人間の知的な働きを、コンピュータで実現しようとする技術や研究分野
- 機械学習
- 人がルールを1つずつ書く代わりに、コンピュータがデータから規則性やパターンを学び、予測や判断に使えるようにする技術（技術5にも掲載）
- ディープラーニング
- 多数の層を重ねたニューラルネットワークを使い、予測や判断に役立つ特徴をデータから自動で学習する機械学習の手法（技術6・技術11にも掲載）
技術2人工知能分野で議論される問題
- シンギュラリティ
- AIが自らを改良し続けて知能が人間を大きく超え、その後の技術や社会の変化を人間が予測できなくなる転換点
- シンボルグラウンディング問題
- コンピュータが扱う記号（言葉）を、それが指す実世界の対象や感覚とどう結び付けるかという問題
- 身体性
- 知能が成り立つには、身体を通して環境を感じ取り、環境に働きかける経験が欠かせないとする考え方
- ダートマス会議
- 1956年夏に米国のダートマス大学で開かれ、人工知能が研究分野として名前を得て出発するきっかけとなった研究会
- トイ・プロブレム
- 迷路やパズルのように、ルールとゴールが明確に定められ、現実の複雑さを取り除いた単純な問題
- 知識獲得のボトルネック
- 専門家の知識を聞き出してコンピュータが扱えるルールに書き表す作業に膨大な手間がかかり、AIの開発の妨げになった問題
- チューリングテスト
- 文字だけの会話で判定者が相手を機械か人間か見分けられるかどうかによって、機械の知能を判定する方法
- 中国語の部屋
- 記号を規則どおりに操作して正しく応答できても、意味を理解しているとはいえないことを示そうとした、サールの思考実験
- 強いAIと弱いAI
- 適切なプログラムを実行するコンピュータは本当に心をもつとする立場と、心の研究の道具とみなす立場を分けた、サールの用語
- 統計的機械翻訳
- 人が翻訳規則を書く代わりに、対訳データから求めた確率をもとに、もっともらしい訳文を選ぶ機械翻訳の方式（技術27にも掲載）
- フレーム問題
- ある行動をするときに、無数の事柄の中から関係のあることだけを選び出して考えることが、AIにとって難しいという問題
- ルールベース機械翻訳
- 言語学者などが人手で整えた辞書と文法規則にもとづいて、原文を解析し訳文を組み立てる機械翻訳の方式
- ローブナーコンテスト
- チューリングテストの形式で会話プログラムを審査し、最も人間らしいと評価されたものを表彰した大会
- 機械翻訳
- ある言語で書かれた文章を、コンピュータを使って別の言語の文章に自動で翻訳する技術（技術27にも掲載）
2人工知能をめぐる動向
41語
技術3探索・推論
- αβ法
- Mini-Max法の探索で、調べても選ぶ手が変わらないと分かった枝を省き、同じ結果をより少ない計算で得る方法
- Mini-Max法
- 対戦ゲームで相手も最善の手を選ぶと仮定し、探索木の評価値を末端からさかのぼって自分の指す手を決める方法
- SHRDLU
- 1968〜1970年にMITのウィノグラードが開発した、積み木の仮想世界について英語で指示や質問を受け、操作や応答を行うプログラム
- STRIPS
- 行動を前提条件と実行後の変化で記述し、初期状態から目標状態に至る行動の手順を自動で求める、1971年に発表されたプランニングの手法
- 探索木
- 問題の状態をノード、状態を移す操作を枝として、出発点から考えられる手順を木の形に広げて表したもの
- ハノイの塔
- AIで探索の例題によく使われる、1本の柱に積まれた大きさの違う円盤を、規則に従い3本の柱を使って別の柱へすべて移すパズル
- 幅優先探索
- 探索木の出発点に近いノードから順に、同じ深さのノードをすべて調べてから次の深さへ進む探索方法
- 深さ優先探索
- 探索木の1つの枝を行き止まりまで深くたどり、解がなければ1つ前の分かれ道まで戻って別の枝を調べる探索方法
- ブルートフォース
- 考えられるすべての候補や手順を、絞り込みの工夫をせずに1つずつ調べ尽くして答えを見つける方法
- モンテカルロ法
- 乱数を使った試行（シミュレーション）を多数くり返し、その結果の平均や割合から答えを近似的に求める方法
- 組合せ爆発
- 問題の規模が少し大きくなるだけで、調べるべき候補の組合せの数が掛け算で急増し、現実的な時間では調べきれなくなる現象
技術4知識表現とエキスパートシステム
- Cycプロジェクト
- 人間がもつ一般常識を知識ベースとして記述し、コンピュータが推論に使えるようにすることを目指した長期の研究プロジェクト
- DENDRAL
- 1965年にスタンフォード大学で始まった、質量分析のデータなどから有機化合物の分子構造を推定するエキスパートシステム
- Question-Answering（質問応答）
- 人が自然な文で尋ねた質問に対し、コンピュータが文書やデータをもとに答えそのものを返す技術（技術27にも掲載）
- 意味ネットワーク
- 概念をノード（節点）、概念どうしの関係をラベル付きのリンク（矢印）で表し、知識をグラフの形で表現する方法
- イライザ(ELIZA)
- 1960年代半ばにジョセフ・ワイゼンバウムが開発した、入力文のパターンに合わせて決まった形の応答を返す対話プログラム
- インタビューシステム
- エキスパートシステムを作る際に、コンピュータが専門家に質問を重ねて知識を引き出し、知識ベースの構築を支援する仕組み
- ウェブマイニング
- データマイニングの技術をWeb上の文章やリンク、アクセスの記録などに適用し、有用な知識やパターンを取り出す技術
- オントロジー
- ある分野の概念と概念どうしの関係を明確に定義し、人やコンピュータが知識を共有・再利用できるようにした体系
- セマンティックWeb
- Web上の情報に意味を表すデータを付け加え、人だけでなくコンピュータも内容を処理できるようにする構想
- データマイニング
- 大量のデータを統計学や機械学習の手法で分析し、人が気づいていなかった有用な規則性や傾向を見つけ出す技術
- 東ロボくん
- 国立情報学研究所が中心となって2011年に始めたプロジェクト「ロボットは東大に入れるか」で開発された、大学入試問題を解くAI
- マイシン(MYCIN)
- 1970年代にスタンフォード大学で開発された、細菌感染症の原因菌を推定し、適した抗生物質を提案するエキスパートシステム
- ワトソン
- IBMが開発した質問応答システムで、大量の文書から答えの候補を集め、確信度の高いものを選んで回答するAI
- エキスパートシステム
- 専門家の知識をif-thenルールなどの形で蓄え、推論によって専門家のように判断や助言を行うコンピュータシステム
- チャットボット
- 人が入力した文章や音声に対して、自動で応答を返しながら会話を続けるプログラム（技術27にも掲載）
技術5機械学習
- 次元の呪い
- データを表す特徴量の数（次元）が増えるにつれて、学習に必要なデータ量や計算量が急激に増え、うまく学習できなくなる現象
- スパムフィルタ
- 受信したメールが迷惑メールかどうかを判定し、迷惑メールを通常のメールから振り分ける仕組み
- ビッグデータ
- 量が膨大で種類も多様なうえ、次々と生み出されるため、従来の方法では保存や分析が難しいデータ
- レコメンデーションエンジン
- 購買や閲覧の履歴などから利用者の好みを推定し、合いそうな商品や情報を選んで提示する仕組み
- 統計的自然言語処理
- 大量の文章データ（コーパス）から単語や表現の現れ方を確率として学び、言葉を処理する方法
- 機械学習
- 人がルールを1つずつ書く代わりに、コンピュータがデータから規則性やパターンを学び、予測や判断に使えるようにする技術（技術1にも掲載）
- 自然言語処理
- 日本語や英語のように人が日常で使う言葉を、コンピュータで解析したり生成したりする技術の総称（技術27にも掲載）
技術6ディープラーニング
- ImageNet
- WordNetの名詞の階層に沿った2万を超えるカテゴリに、1,400万枚以上の画像を対応付けた大規模な画像データセット
- ILSVRC
- 2010年から2017年まで毎年開かれた、大規模な画像データセットImageNetを使って物体認識の精度を競うコンテスト
- LeNet
- ヤン・ルカンらが開発した、畳み込み層とサブサンプリング層を重ねて誤差逆伝播法で学習する、初期の代表的なCNN
- アルファ碁(AlphaGo)
- DeepMind社が開発し、ディープラーニングと木探索を組み合わせて囲碁のトップ棋士に勝った囲碁AI
- ネオコグニトロン
- 福島邦彦が提唱した、視覚野の神経細胞をまねて特徴の抽出と位置ずれの吸収を繰り返す、CNNの原型とされる神経回路モデル
- 生成AI
- 大量のデータから特徴を学び、文章・画像・音声・プログラムなどの新しいコンテンツを作り出すAIの総称
- ディープラーニング
- 多数の層を重ねたニューラルネットワークを使い、予測や判断に役立つ特徴をデータから自動で学習する機械学習の手法（技術1・技術11にも掲載）
- ニューラルネットワーク
- 脳の神経細胞のつながりをヒントに、計算単位を層状につないで、データから入力と出力の関係を学習するモデル（技術11・技術18・技術22にも掲載）
3機械学習の概要
62語
技術7教師あり学習
- アンサンブル学習
- 複数のモデルを学習させ、それらの予測を多数決や平均などで組み合わせて、1つのモデルより高い性能を得る手法
- カーネルトリック
- データを高次元の空間に写像したあとの内積を、写像を直接計算せずにカーネル関数で元の空間のまま求める、計算上の工夫
- 回帰問題
- 入力データから、価格や気温のような連続した数値を予測する、教師あり学習の問題
- 決定木
- 「ある特徴量が基準値以上か」のような条件による分岐を木の形に重ねて、分類や回帰の予測を行う機械学習の手法
- 勾配ブースティング
- それまでの予測の誤りを減らすように弱い学習器を1つずつ追加していく、ブースティング系のアンサンブル学習の手法
- サポートベクターマシン
- クラスの境界と、境界に最も近いデータとの距離（マージン）が最大になるように境界を決める、教師あり学習の手法
- 線形回帰
- 目的変数を、説明変数に係数を掛けて足し合わせた1次式で表し、売上や価格などの数値を予測する回帰のモデル
- 自己回帰モデル（ARモデル）
- 時系列データのある時点の値を、同じ系列の過去の値に係数を掛けて足し合わせた式で表し、予測するモデル
- 単回帰分析
- 1つの説明変数から目的変数を予測するため、2つの変数の関係を1本の直線（回帰直線）で表す線形回帰
- 重回帰分析
- 2つ以上の説明変数を使い、目的変数をそれらに係数を掛けて足し合わせた1次式で表して分析・予測する線形回帰
- バギング
- 復元抽出で作った複数の学習データでモデルを別々に学習させ、その予測を多数決や平均でまとめるアンサンブル学習の手法
- ブースティング
- 前のモデルが苦手としたデータを次のモデルが重点的に学ぶように、弱学習器を1つずつ追加して組み合わせるアンサンブル学習の手法
- ブートストラップサンプリング
- 手元のデータから重複を許して無作為にデータを抜き出し、元と同じ件数の標本を何組も作る方法
- 分類問題
- 入力データが、あらかじめ決められたいくつかのクラス（カテゴリ）のうちどれに当たるかを予測する、教師あり学習の問題
- ベクトル自己回帰モデル（VARモデル）
- 複数の時系列データについて、各系列の値をすべての系列の過去の値で表し、まとめて予測するモデル
- マージン最大化
- クラスを分ける境界と、境界に最も近いデータとの距離（マージン）が最も大きくなるように境界を決める考え方
- ランダムフォレスト
- データと特徴量を無作為に選んで多数の決定木を作り、それらの予測を多数決や平均でまとめるアンサンブル学習の手法
- ロジスティック回帰
- 入力の重み付き和をシグモイド関数に通して0から1の確率を出力し、主に2値分類に使う教師あり学習のモデル
- 教師あり学習
- 入力と正解（ラベル）を組にしたデータを使い、入力から正解を予測する規則を学ぶ機械学習の方法（技術31にも掲載）
- ソフトマージン
- SVMで一部のデータがマージンの内側に入ることや誤分類を許し、その度合いに罰を与えながらマージンを広く取る方法
技術8教師なし学習
- k-means法
- データをあらかじめ決めたk個のクラスタに分けるため、重心への割り当てと重心の再計算を繰り返すクラスタリング手法
- t-SNE
- 高次元のデータを、近いデータどうしの関係をできるだけ保ったまま2次元や3次元に配置する、可視化向きの非線形の次元削減手法
- ウォード法
- 階層的クラスタリングの方法の1つで、まとめたときのクラスタ内の平方和（ばらつき）の増え方が最小になる組から順にまとめていく方法
- 協調フィルタリング
- 多くの利用者の評価や購買の履歴から、好みの似た利用者や一緒に選ばれやすい商品を見つけて推薦する方式
- クラスタリング
- 正解ラベルのないデータを、特徴の似たものどうしが同じグループ（クラスタ）になるように分ける、教師なし学習の手法
- コールドスタート問題
- 推薦システムが、利用や評価の履歴がほとんどない新しい利用者や商品に対して、適切な推薦をしにくい問題
- コンテンツベースフィルタリング
- 商品のジャンルや説明文などの属性と、利用者が過去に好んだ商品の属性を照らし合わせて推薦する方式
- 次元削減
- 多くの特徴量（次元）をもつデータを、もとの情報をできるだけ残したまま、より少ない次元で表し直す処理（技術24にも掲載）
- 主成分分析
- 多くの変数をもつデータを、元のばらつき（分散）をできるだけ保つ、互いに無相関な少数の合成変数にまとめる次元削減の手法
- 潜在的ディリクレ配分法（LDA）
- 各文書を複数のトピックの混ざり合いとみなし、文書の集まりからトピックとその割合を推定するトピックモデル
- 多次元尺度構成法（MDS）
- データどうしの距離（非類似度）の関係をできるだけ保つように、データを2次元などの低い次元の空間に配置する手法
- デンドログラム(樹形図)
- 階層的クラスタリングで、データやクラスタがどの順番に、どの程度の距離で併合されたかを木の形で表した図
- 特異値分解
- どんな形の行列も、2つの直交行列と、特異値を大きい順に対角に並べた行列の積に分解する手法
- トピックモデル
- 大量の文書に出てくる単語の共起から、背後にある話題（トピック）と、各文書がどの話題をどれくらい含むかを推定する手法
- 階層的クラスタリング
- 似ているデータやクラスタを順に併合（または分割）していき、クラスタの入れ子の構造を木の形で求めるクラスタリング手法
- 教師なし学習
- 正解（ラベル）の付いていないデータから、似たもののまとまりやデータの構造を見つけ出す機械学習の方法
技術9強化学習
- Actor-Critic
- 行動を選ぶ方策（Actor）と、行動を評価する価値関数（Critic）を組み合わせ、両方を同時に学習する強化学習の手法
- ε-greedy方策
- 確率εでランダムに行動を選んで探索し、残りの確率1−εでその時点で価値が最も高いと推定される行動を選ぶ方策
- REINFORCE
- 1つのエピソードで得た収益をもとに、収益が大きかった行動ほど選ばれやすくなるよう方策を更新する、方策勾配法の基本的な手法
- Q学習
- ある状態である行動をとったときの価値（Q値）を、試行錯誤で得た報酬をもとに更新して学ぶ、価値ベースの強化学習の手法
- UCB方策
- 行動ごとの報酬の平均に、見積もりの不確かさに応じた上乗せ分を加え、その値が最大の行動を選ぶことで、探索と活用の釣り合いをとる方策
- 行動価値関数
- ある状態である行動をとり、その後は決められた方策に従ったときに得られる、割引累積報酬（収益）の期待値を表す関数
- 状態価値関数
- ある状態から出発し、その後は決められた方策に従って行動したときに得られる、割引累積報酬（収益）の期待値を表す関数
- バンディットアルゴリズム
- 良し悪しが事前にわからない複数の選択肢を繰り返し選びながら、得られる報酬の合計をできるだけ大きくするための選び方の手法
- 方策勾配法
- 行動の選び方（方策）をパラメータをもつ関数で表し、収益の期待値が大きくなるように、そのパラメータを勾配で直接更新する手法
- マルコフ決定過程
- 次の状態と報酬が現在の状態と行動だけで確率的に決まるという仮定のもとで、意思決定の問題を表す数理的な枠組み
- 割引率
- 強化学習で将来に受け取る報酬を現在の価値に換算するときに掛ける、0以上1以下の係数
- SARSA
- 次の状態で実際に選んだ行動の行動価値を使って行動価値関数を更新する、方策オン型の強化学習の手法
- エージェント
- センサーなどで周囲の環境を知覚し、その情報にもとづいて行動を選び、環境に働きかける主体（技術1・技術29にも掲載）
- 強化学習
- エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が大きくなる行動の選び方（方策）を学ぶ機械学習の方法（技術29にも掲載）
技術10モデルの選択・評価
- 平均二乗誤差
- 予測値と正解値の差を二乗し、すべてのデータについて平均した値で、回帰問題の代表的な評価指標や誤差関数（技術13にも掲載）
- 平均絶対値誤差（MAE）
- 予測値と正解値の差の絶対値をすべてのデータについて平均した値で、回帰問題の予測のずれを表す評価指標
- ROC曲線・AUC
- 閾値を動かしながら真陽性率と偽陽性率の関係を描いた曲線と、その下側の面積を使って、陽性と陰性を見分ける力を評価する方法
- 赤池情報量規準（AIC）
- モデルのデータへの当てはまりの良さとパラメータ数の多さを1つの値にまとめ、候補のモデルを比べて選ぶための指標
- オッカムの剃刀
- ある現象を同じ程度に説明できるなら、必要以上の仮定を置かない、より単純な説明を選ぶべきだとする考え方
- 過学習
- モデルが学習データのノイズまで覚え込み、学習データではよく当たる一方で、未知のデータに対する予測の精度が下がる状態
- 交差検証
- データを複数のグループに分け、検証用のグループを入れ替えながら学習と評価を繰り返して、モデルの汎化性能を見積もる方法
- 混同行列
- 分類モデルの予測結果を、実際のクラスと予測したクラスの組み合わせごとに件数で数えて並べた表
- 正解率・適合率・再現率・F値
- 混同行列の4つの件数から計算する、分類モデルの予測の良さを表す代表的な評価指標
- 汎化性能
- 学習に使っていない未知のデータに対しても、モデルが正しく予測できる能力
- ベイズ情報量規準（BIC）
- モデルの当てはまりの良さに、パラメータ数とデータ数に応じた罰則を加えて、候補のモデルを比べるための指標
- ホールドアウト検証
- 手元のデータを学習用と評価用に一度だけ分け、学習に使わなかった評価用データでモデルの性能を測る方法
4ディープラーニングの概要
52語
技術11ニューラルネットワークとディープラーニング
- CPU
- プログラムの命令を読み取って順に実行し、コンピュータ全体の動作を制御する、汎用の中央処理装置
- GPU
- 画像の描画のために開発され、多数のコアで大量の単純な計算を同時に処理することを得意とするプロセッサ
- TPU
- Googleがニューラルネットワークの計算を速く、少ない電力で行うために独自に開発した、行列演算に特化したプロセッサ
- 多層パーセプトロン
- 入力層と出力層の間に隠れ層をもち、各層が前の層のすべてのユニットと結合した、順伝播型のニューラルネットワーク
- 単純パーセプトロン
- 入力層と出力層だけからなり、入力の重み付き和がしきい値を超えるかどうかで1か0を出力する、最も基本的なニューラルネットワーク
- ディープラーニング
- 多数の層を重ねたニューラルネットワークを使い、予測や判断に役立つ特徴をデータから自動で学習する機械学習の手法（技術1・技術6にも掲載）
- ニューラルネットワーク
- 脳の神経細胞のつながりをヒントに、計算単位を層状につないで、データから入力と出力の関係を学習するモデル（技術6・技術18・技術22にも掲載）
技術12活性化関数
- Leaky ReLU関数
- 入力が正ならそのまま出力し、0以下なら0.01倍などの小さな傾きを掛けた値を出力する活性化関数
- ReLU関数
- 入力が0より大きければその値をそのまま出力し、0以下なら0を出力する活性化関数
- tanh関数
- 入力を−1から1の範囲の値に変換する、原点を中心に対称なS字形の活性化関数
- シグモイド関数
- どんな実数の入力も0から1の間の値に変換する、なめらかなS字形の関数
- ソフトマックス関数
- 複数の数値をそれぞれ0から1の間の値に変換し、その合計がちょうど1になるようにする関数
- 勾配消失問題
- 誤差逆伝播法で入力層に近い層ほど勾配が小さくなり、重みがほとんど更新されなくなる現象（技術15・技術22にも掲載）
- 活性化関数
- ニューラルネットワークの各ユニットで、入力の重み付き和にバイアスを加えた値を変換し、そのユニットの出力を決める関数（技術17にも掲載）
技術13誤差関数
- Contrastive Loss
- 2つのデータの組について、似た組は埋め込みの距離を縮め、似ていない組はマージン以上に離すよう学習させる損失関数
- Triplet Loss
- アンカー、同じクラスの正例、異なるクラスの負例の3つ組を使い、正例が負例より近くなるよう埋め込みを学ばせる損失関数
- KL情報量
- ある確率分布を基準にしたとき、別の確率分布がどれだけ異なるかを表す、0以上の値をとる量
- 交差エントロピー
- モデルが予測した確率分布が正解の分布とどれだけ合っていないかを表す値で、分類問題の誤差関数として広く使われるもの
- 平均二乗誤差
- 予測値と正解値の差を二乗し、すべてのデータについて平均した値で、回帰問題の代表的な評価指標や誤差関数（技術10にも掲載）
技術14正則化
- L1正則化
- 誤差関数に重みの絶対値の和を罰則として加え、一部の重みをちょうど0にしやすくする正則化の手法
- L2正則化
- 誤差関数に重みの二乗和を罰則として加え、重みの値が大きくなりすぎないようにする正則化の手法
- 正則化
- モデルが訓練データに合わせすぎる過学習を抑え、未知のデータに対する性能を高めるために、学習に制約を加える工夫
- ドロップアウト
- ニューラルネットワークの学習中に一部のユニットをランダムに無効にして、過学習を抑える正則化の手法
- ラッソ回帰
- 線形回帰の誤差に係数の絶対値の和を罰則として加え、一部の係数をちょうど0にして説明変数を絞り込む回帰の手法
- リッジ回帰
- 線形回帰の誤差に係数の二乗和を罰則として加え、係数を全体的に小さく抑えて推定を安定させる回帰の手法
技術15誤差逆伝播法
- 勾配消失問題
- 誤差逆伝播法で入力層に近い層ほど勾配が小さくなり、重みがほとんど更新されなくなる現象（技術12・技術22にも掲載）
- 勾配爆発問題
- 誤差逆伝播法で層や時刻をさかのぼって勾配を伝えるうちに勾配が急激に大きくなり、学習が不安定になったり発散したりする現象（技術22にも掲載）
- 信用割当問題
- 学習するシステムが成功や失敗をしたとき、その結果に関わった多数の要素や判断のうち、どれにどれだけ責任があるかを決める問題
- 連鎖律
- 関数の中に別の関数が入った合成関数の微分を、外側の関数の微分と内側の関数の微分の積として求める規則
- 誤差逆伝播法
- ニューラルネットワークの出力の誤差をもとに、連鎖律を使って出力層側から入力層側へ順に、各重みの勾配を効率よく計算する方法
技術16最適化手法
- AdaBound
- Adamの学習率に学習が進むほど幅が狭まる上限と下限を設け、序盤はAdam、終盤はSGDのようにふるまわせる最適化手法
- AdaDelta
- 勾配の二乗と過去の更新量の二乗の指数移動平均を使い、学習率を手で決めずに更新幅を調整する最適化手法
- AdaGrad
- パラメータごとに過去の勾配の二乗を足し合わせ、その値が大きいパラメータほど学習率を小さくして更新する最適化手法
- Adam
- モーメンタムとRMSpropの考え方を組み合わせ、パラメータごとに更新の大きさを自動で調整する勾配降下法の一種
- AMSBound
- Adamの改良版であるAMSGradの学習率に、学習が進むほど幅が狭まる上限と下限を設け、終盤にSGDへ近づける最適化手法
- RMSprop
- 勾配の2乗の指数移動平均をパラメータごとに記録し、その平方根で勾配を割って更新の大きさを調整する最適化手法
- 鞍点
- ある方向から見ると極小、別の方向から見ると極大になっていて、勾配が0になる点
- イテレーション
- 機械学習の訓練で、重みを1回更新することを1と数える単位
- エポック
- 機械学習の訓練で、訓練データ全体をひと通り1回使って学習することを1と数える単位
- オンライン学習
- データを1件ずつ使い、受け取るたびに勾配を求めて重みを更新していく学習方法
- 学習率
- 勾配降下法で重みを更新するときに勾配に掛け、1回あたりの更新の大きさを決める係数
- 確率的勾配降下法
- 訓練データからランダムに選んだ一部のデータで勾配を計算し、重みを少しずつ更新していく最適化手法
- グリッドサーチ
- ハイパーパラメータごとに候補値を決め、そのすべての組み合わせを試して、検証データで最もよい組み合わせを選ぶ探索方法
- 勾配降下法
- 損失関数の勾配（傾き）を求め、損失が小さくなる向きに重みを少しずつ動かして、よい重みを探す最適化手法
- 局所最適解
- その周辺では損失が最も小さいものの、関数全体で見ると最小とは限らない解
- 早期終了
- 学習中に検証データの誤差を監視し、誤差が改善しなくなった時点で学習を打ち切って過学習を防ぐ方法
- 大域最適解
- 考えられるすべての解の中で、損失関数の値が最も小さくなる解
- 二重降下現象
- モデルの規模を大きくしていくと、テスト誤差がいったん下がってから上がり、さらに大きくすると再び下がる現象
- ノーフリーランチの定理
- 考えうるすべての問題で平均すると、どの最適化や学習の手法も性能が等しくなり、万能な手法はないことを示した定理
- ハイパーパラメータ
- 学習率やバッチサイズ、層の数のように、訓練データからの学習では決まらず、学習を始める前に設定しておく値
- ミニバッチ学習
- 訓練データを数十〜数百件ずつの小さなまとまり（ミニバッチ）に分け、まとまりごとに勾配を計算して重みを更新する学習方法
- モーメンタム
- 勾配降下法で、前回までの更新の向きと勢いを慣性のように引き継ぎ、今回の勾配と合わせて重みを更新する最適化手法
- ランダムサーチ
- ハイパーパラメータの値を指定した範囲から無作為に選んで、決めた回数だけ試し、最もよい組み合わせを選ぶ探索方法
5ディープラーニングの要素技術
50語
技術17全結合層
技術18畳み込み層
- Dilated Convolution
- フィルタの要素の間に間隔を空けて入力に適用することで、パラメータ数を増やさずに受容野を広げる畳み込み
- Depthwise Separable Convolution
- 畳み込みをチャネルごとの畳み込みと1×1の畳み込みに分け、計算量を減らす手法
- カーネル（畳み込み）
- CNNの畳み込み層で入力の上をずらしながら当てる小さな重みの配列で、局所的な特徴を取り出す役割をもつもの
- ストライド
- 畳み込みやプーリングで、フィルタを入力の上でずらしていくときの移動の幅
- CNN
- 小さなフィルタを入力の上でずらしながら特徴を取り出す畳み込み層を中心に組み立てた、ニューラルネットワーク
- 特徴マップ
- CNNの畳み込み層でフィルタを入力に適用した出力で、フィルタが捉える特徴が入力のどの位置にどの程度現れているかを表す値の並び
- パディング
- 畳み込みの前に入力の周囲を0などの値で埋めて、縦横のサイズを広げておく処理
- ニューラルネットワーク
- 脳の神経細胞のつながりをヒントに、計算単位を層状につないで、データから入力と出力の関係を学習するモデル（技術6・技術11・技術22にも掲載）
技術19正規化層
技術20プーリング層
- グローバルアベレージプーリング
- CNNの特徴マップをチャネルごとに全体で平均し、1チャネルを1つの値にまとめる処理
- 最大値プーリング
- 特徴マップを小さな領域に区切り、各領域の最大値だけを取り出して縮小する、CNNのプーリング処理
- 不変性の獲得
- 入力の中で特徴の位置が少しずれても出力がほぼ変わらない性質を、プーリングなどによってCNNに持たせる仕組み
- 平均値プーリング
- 特徴マップを小さな領域に区切り、各領域に含まれる値の平均を出力して縮小する、CNNのプーリング処理
技術21スキップ結合
- ResNet
- 数層ごとに入力を出力へ直接足し合わせるスキップ結合を使い、100層を超える深さでも学習できるようにしたCNN（技術26にも掲載）
技術22回帰結合層
- BPTT
- RNNを時刻ごとに展開して1つの深いネットワークとみなし、誤差逆伝播法で時間をさかのぼりながら勾配を計算する学習方法
- GRU
- リセットゲートと更新ゲートの2つで情報の流れを制御する、LSTMを簡略化したRNN
- LSTM
- 記憶セルと3つのゲートで情報の書き込み・保持・読み出しを制御し、長い系列でも勾配消失を起こしにくくしたRNN
- エルマンネットワーク
- 前の時刻の隠れ層の値を文脈層に写し取り、次の時刻の隠れ層へ入力として戻す、単純な構造のRNN
- 勾配消失問題
- 誤差逆伝播法で入力層に近い層ほど勾配が小さくなり、重みがほとんど更新されなくなる現象（技術12・技術15にも掲載）
- 勾配爆発問題
- 誤差逆伝播法で層や時刻をさかのぼって勾配を伝えるうちに勾配が急激に大きくなり、学習が不安定になったり発散したりする現象（技術15にも掲載）
- 教師強制
- 系列を生成するモデルの学習で、各時刻の入力に、前の時刻のモデルの出力ではなく正解の値を与える学習方法
- ゲート機構
- 0から1の値をとるゲートを情報に掛け合わせ、どの情報をどれだけ通すかを入力に応じて調整する、LSTMやGRUの中心となる仕組み
- 双方向RNN
- 系列を先頭から読むRNNと末尾から読むRNNを組み合わせ、各時刻で前後両方の文脈を使えるようにしたモデル
- 時系列データ
- 売上や気温、センサーの値のように、時間の経過に沿って順番に記録されたデータ
- ジョルダンネットワーク
- 前の時刻の出力層の値を状態層に戻し、次の時刻の隠れ層への入力として使う、初期の再帰型ニューラルネットワーク
- RNN
- 過去の時刻の情報を内部に保ち、次の時刻の計算に使うことで、時系列データの前後関係を扱えるようにしたニューラルネットワーク
- ニューラルネットワーク
- 脳の神経細胞のつながりをヒントに、計算単位を層状につないで、データから入力と出力の関係を学習するモデル（技術6・技術11・技術18にも掲載）
技術23Attention
- Attention
- クエリと入力の各要素との関連度から重みを求め、その重みで情報を加重和して、必要な部分に注目する仕組み
- Multi-Head Attention
- クエリ・キー・バリューを複数の組に射影し、並列にAttentionを計算して結果を結合する仕組み
- Self-Attention
- 系列の各要素が同じ系列内のすべての要素との関連度を求め、その重みで情報を集めて文脈を反映した表現を作る仕組み
- Seq2Seq
- エンコーダが入力の系列を読み込んでベクトルにまとめ、デコーダがそれをもとに別の系列を1つずつ生成するモデル（技術27にも掲載）
- Source-Target Attention
- 出力側の系列からクエリを、入力側の系列からキーとバリューを作るAttention
- Transformer
- RNNや畳み込みを使わず、Attentionを中心に系列内の関係をとらえる、2017年に提案されたニューラルネットワーク
- 位置エンコーディング
- Transformerで、各単語の系列内の位置を表すベクトルを埋め込みベクトルに加え、語順の情報を与える仕組み
技術24オートエンコーダ
技術25データ拡張
- CutMix
- ある画像の一部の長方形を別の画像の同じ位置の部分に置き換え、正解ラベルを貼り付けた面積の比率で混ぜるデータ拡張の手法
- Cutout
- 学習のたびに画像のランダムな位置を決まった大きさの正方形で塗りつぶし、一部が隠れた画像で学習させるデータ拡張の手法
- Mixup
- 2つの学習データの入力と正解ラベルを同じ比率で混ぜ合わせ、その中間にあたる新しい学習データを作るデータ拡張の手法
- noising
- 文中の単語をランダムに削除・挿入・入れ替え・置換するなどして、意味を大きく変えない程度の乱れを加えるデータ拡張の手法
- paraphrasing
- 文章の意味を保ったまま、類義語への置き換えや逆翻訳などで別の表現に言い換え、学習データを増やすデータ拡張の手法
- RandAugment
- 用意した変換の候補からランダムに選んだN個の変換を、すべて共通の強さMで画像に加えるデータ拡張の手法
- Random Erasing
- 画像の中からランダムに選んだ長方形の領域をランダムな値で塗りつぶし、一部が隠れた画像を作るデータ拡張の手法
- データ拡張
- 学習データに意味を変えない範囲の変換を加えて新しいデータを作り、学習データの量と多様さを増やす手法
6ディープラーニングの応用例
135語
技術26画像認識
- AlexNet
- 2012年のILSVRCで従来の手法に大差をつけて優勝した、畳み込み層5層と全結合層3層からなるCNN
- DeepLab
- Atrous Convolutionで解像度を保ちつつ広い範囲の文脈を捉える、セマンティックセグメンテーションのモデル群
- DenseNet
- ブロック内の各層に、それより前のすべての層の出力をチャネル方向に連結して入力する、密な結合をもつCNN
- EfficientNet
- ネットワークの深さ・幅・入力画像の解像度を1つの係数でバランスよく拡大する複合スケーリングを使った、CNNのモデル群
- Fast R-CNN
- 画像全体から作った特徴マップを全候補領域で共有し、RoIプーリングで切り出すことで、R-CNNを高速にした物体検出モデル
- Faster R-CNN
- 候補領域の抽出もニューラルネットワーク（RPN）で行うようにして、検出を高速にした2段階型の物体検出モデル
- FCN（Fully Convolutional Network）
- CNNの全結合層を畳み込み層に置き換え、画素ごとにクラスを出力するモデル
- FPN
- CNNの深い層の特徴マップを拡大しながら浅い層の特徴マップと足し合わせ、どの解像度でも物体を見分けやすい特徴マップを作る仕組み
- GoogLeNet
- 大きさの異なる畳み込みを並列に行うInceptionモジュールを重ね、2014年のILSVRCの画像分類部門で優勝したCNN
- Mask R-CNN
- Faster R-CNNに物体ごとのマスクを予測する分岐を加え、物体検出とインスタンスセグメンテーションを同時に行うモデル
- MnasNet
- スマートフォンの実機で測った推論時間と精度の両方を目的にして、NASで構造を探索したモバイル向けのCNN
- MobileNet
- Depthwise Separable Convolutionで計算量を減らした、端末向けの軽量なCNN
- NAS（Neural Architecture Search）
- ニューラルネットワークの構造を、人手に代わって自動で探索する手法
- Open Pose
- 画像に写る複数の人の関節の位置とそのつながりを推定し、人ごとの骨格をリアルタイムで求める姿勢推定の手法
- PSPNet
- 大きさの異なる領域ごとにプーリングするピラミッドプーリングモジュールで、画像全体の文脈を捉えるセグメンテーションのモデル
- ResNet
- 数層ごとに入力を出力へ直接足し合わせるスキップ結合を使い、100層を超える深さでも学習できるようにしたCNN（技術21にも掲載）
- SegNet
- エンコーダの最大値プーリングで記録した位置を使い、デコーダで特徴マップを拡大する、セマンティックセグメンテーションのモデル
- SENet
- 特徴マップのチャネルごとの重要度を学習して重み付けするSEブロックを、CNNに組み込んだモデル
- SSD
- 解像度の異なる複数の特徴マップの各位置に置いた基準の枠をもとに、物体の位置とクラスを一度に予測する1段階型の物体検出モデル
- U-Net
- 特徴を縮めて取り出す経路と解像度を戻していく経路をU字型に組み、両者をスキップ結合でつないだ、セグメンテーション用のCNN
- VGG
- 3×3の小さなフィルタの畳み込み層を何層も重ねて深くした、オックスフォード大学の研究グループが提案したCNN
- Vision Transformer
- 画像を小さな正方形のパッチに分けて単語の列のように扱い、Transformerで画像を分類するモデル
- YOLO
- 画像全体を1つのCNNに一度だけ通し、物体の位置とクラスを同時に予測する、高速な1段階型の物体検出モデル
- 一般物体認識
- 制約のない実世界の画像に写る物体を、「いす」「自転車」のような一般的な名称（カテゴリ）で認識する課題
- インスタンスセグメンテーション
- 画像の中の物体を1つずつ区別し、それぞれの物体が写っている領域を画素単位で切り出すタスク
- 姿勢推定
- 画像や動画に写る人の肩、ひじ、ひざなどの関節の位置を推定し、それらを結んで体の姿勢を求めるタスク
- セマンティックセグメンテーション
- 画像のすべての画素に「人」「道路」「空」などのクラスを割り当て、画像を領域ごとに塗り分けるタスク
- 物体検出
- 画像の中にある物体の位置を矩形（バウンディングボックス）で示し、それぞれが何であるかのクラスもあわせて推定するタスク
- 物体識別
- 画像に写っている物体が何であるかを、あらかじめ決めたクラスの中から選んで答える画像認識のタスク
- パノプティックセグメンテーション
- 画像のすべての画素にクラスを割り当て、さらに人や車などの数えられる物体には個体の区別も付けるタスク
技術27自然言語処理
- BERT
- Transformerのエンコーダを大量の文章で事前学習し、前後両方向の文脈を捉えた表現を多くの言語タスクに転用できるようにしたモデル
- BoW（Bag-of-Words）
- 文書を単語の並び順を無視した単語の集まりとみなし、各単語の出現回数などを並べたベクトルで表す方法
- CBOW
- word2vecの2つのモデルのうち、周辺の単語から中心の単語を予測するように学習して、単語の分散表現を得るモデル
- CEC
- LSTMの記憶セルの中核にあり、値を変えずに次の時刻へ渡すことで、誤差を減衰させずに過去へ伝える仕組み
- ELMo
- 双方向のLSTMによる言語モデルを大量の文章で事前学習し、文脈に応じて変わる単語のベクトルを作る手法
- fastText
- 単語を文字n-gramの集まりとして扱うことで未知語にもベクトルを与えられるようにした、単語の分散表現と文書分類のための手法
- GLUE
- 感情分析や含意関係の認識など9つの英語のタスクをまとめ、自然言語処理モデルの汎用的な言語理解の力を評価するベンチマーク
- n-gram
- 文章中で連続するn個の文字や単語の並びと、その並びを単位として文章を扱う考え方
- PaLM
- Googleが2022年に発表した、約5,400億のパラメータをもつデコーダ型Transformerの大規模言語モデル
- Seq2Seq
- エンコーダが入力の系列を読み込んでベクトルにまとめ、デコーダがそれをもとに別の系列を1つずつ生成するモデル（技術23にも掲載）
- TF-IDF
- 文書内での単語の出現頻度（TF）と、その単語を含む文書の少なさ（IDF）を掛け合わせて、単語の重要度を表す指標
- word2vec
- 単語と周辺の単語の一方から他方を予測するニューラルネットワークを学習し、単語の意味を密なベクトル（分散表現）で表す手法
- 感情分析
- 文章や音声から、書き手や話し手の評価が肯定的か否定的か、またどのような感情を抱いているかを推定する技術（技術28にも掲載）
- 機械翻訳
- ある言語で書かれた文章を、コンピュータを使って別の言語の文章に自動で翻訳する技術（技術2にも掲載）
- 形態素解析
- 文を意味をもつ最小の単位である形態素に区切り、それぞれの品詞や活用形などを判定する処理
- 構文解析
- 形態素解析で区切った単語や文節が、文の中でどのように結び付いているかという文の構造を求める処理
- Question-Answering（質問応答）
- 人が自然な文で尋ねた質問に対し、コンピュータが文書やデータをもとに答えそのものを返す技術（技術4にも掲載）
- 情報検索
- 大量の文書などの中から、利用者の求める情報に合うものを探し出し、関連の強さに応じて示す技術
- スキップグラム
- word2vecの2つのモデルのうち、中心の単語から周辺の単語を予測するように学習して、単語の分散表現を得るモデル
- 単語埋め込み
- 意味の近い単語ほど近い位置にくるように、単語を数百次元ほどの実数ベクトルで表す方法や、そのベクトル
- 分散表現
- 単語などの意味を、多数の要素に情報を分散させた数百次元程度の実数ベクトルで表す表現方法
- 文書要約
- 長い文章や複数の文書から重要な内容を取り出し、短くまとめた文章を自動で作る技術
- ワンホットベクトル
- 語彙やカテゴリの数だけ次元をもち、該当する1つの要素だけが1で、残りの要素がすべて0のベクトル
- 大規模言語モデル
- Transformerを用いて膨大な量の文章を学習した、パラメータ数がきわめて多い言語モデル
- 統計的機械翻訳
- 人が翻訳規則を書く代わりに、対訳データから求めた確率をもとに、もっともらしい訳文を選ぶ機械翻訳の方式（技術2にも掲載）
- GPT
- OpenAIが開発した、TransformerのDecoderを使い、文章の続きを予測するように事前学習した言語モデルのシリーズ
- 自然言語処理
- 日本語や英語のように人が日常で使う言葉を、コンピュータで解析したり生成したりする技術の総称（技術5にも掲載）
- チャットボット
- 人が入力した文章や音声に対して、自動で応答を返しながら会話を続けるプログラム（技術4にも掲載）
技術28音声処理
- A-D変換
- 音声のように連続して変化するアナログ信号を、一定の間隔で読み取って数値に置き換え、デジタルデータにする処理
- WaveNet
- 音声の波形を、それまでのサンプルをもとに1サンプルずつ予測して生成する、DeepMindが開発したニューラルネットワーク
- 音韻
- ある言語で意味の区別に使われる音を、物理的な音声から抽象化してとらえたもの、またはその音の体系
- 音声合成
- 入力した文章などをもとに、人の話し声に近い音声の波形を人工的に作り出す技術
- 音声認識
- 人が話した音声をコンピュータで解析し、話された内容を文字列に変換する技術
- 音素
- ある言語において、入れ替えると語の意味の違いを生み出す、最小の音の単位
- 隠れマルコフモデル
- 外から観測できない状態が確率的に移り変わり、各状態から確率的に観測値が出力されると考える確率モデル
- 感情分析
- 文章や音声から、書き手や話し手の評価が肯定的か否定的か、またどのような感情を抱いているかを推定する技術（技術27にも掲載）
- 高速フーリエ変換（FFT）
- 信号に含まれる周波数成分を求める離散フーリエ変換（DFT）を、少ない計算量で行うアルゴリズム
- スペクトル包絡
- 音声の周波数ごとの強さを表すスペクトルについて、細かな凹凸をならして得られる、なめらかな外形
- パルス符号変調器（PCM）
- アナログ信号を一定の間隔で標本化・量子化し、得た値を2進数の符号の列で表す変調方式、またはその装置
- フォルマント
- 声道の共鳴によって強められ、音声のスペクトル包絡に山として現れる周波数
- メル周波数ケプストラム係数（MFCC）
- 音声のスペクトル包絡の形を、人の聴覚に合わせたメル尺度のもとで少数の数値に要約した特徴量
- メル尺度
- 人が感じる音の高さの違いが等間隔になるように、周波数を目盛り直した尺度
- 話者識別
- 音声から声の特徴を取り出し、あらかじめ登録した複数の話者のうち、誰の声かを判定する技術
- CTC
- 入力のどの区間が出力のどの文字に当たるかが分からないデータでも、ブランク記号を導入して系列の変換を学習できるようにする手法
技術29深層強化学習
- A3C
- 複数のワーカーがそれぞれの環境で並行して行動し、共有のネットワークを非同期に更新するActor-Critic型の深層強化学習の手法
- Agent57
- Atari 2600の57種類のゲームすべてで人間の基準スコアを上回った、DeepMindの深層強化学習のエージェント
- APE-X
- 多数のアクターが並列に集めた経験を共有の再生メモリに蓄え、1つの学習器が重要な経験を優先して学ぶ、分散型の深層強化学習の手法
- DQN
- Q学習で求める行動価値（Q値）をCNNで近似し、ゲーム画面の画素から直接よい行動を学べるようにした深層強化学習の手法
- OpenAI Five
- 5対5で戦う対戦ゲームのDota 2を、PPOによる大規模な自己対戦の深層強化学習で学んだ、OpenAIのゲームAI
- PPO
- 更新の前後で方策が行動を選ぶ確率の比をクリップし、1回の更新で方策が大きく変わりすぎるのを防ぐ方策勾配法の一種
- Rainbow
- ダブルDQNやデュエリングネットワークなど、DQNに対する6つの改良を1つのエージェントに組み合わせた深層強化学習の手法
- RLHF
- 人間が出力どうしを比べて評価したデータで報酬モデルを作り、その報酬を使った強化学習で、モデルの出力を人間の好みに近づける手法
- sim2real
- シミュレータの中で学習した方策やモデルを、実世界のロボットなどに移して使うこと、またそのための技術
- アルファスター（AlphaStar）
- リアルタイム戦略ゲームのStarCraft IIで、人間の最上位層の水準に達したDeepMindのAI
- オフライン強化学習
- 環境と新たにやり取りせず、過去に集めて保存したデータだけを使って方策を学習する強化学習の枠組み
- 残差強化学習
- 既存の制御器の出力を土台にして、それだけでは足りない補正分（残差）だけを強化学習で学ぶ手法
- 状態表現学習
- カメラ画像などの高次元の観測から、行動を決めるのに必要な情報を表す低次元の状態を学習する手法
- ダブルDQN
- 行動の選択と、その行動の価値の評価を別々のネットワークで行うことで、DQNで起きやすいQ値の過大評価を抑える手法
- デュエリングネットワーク
- Q値を、状態そのものの価値と、行動ごとの有利さ（アドバンテージ）に分けて推定するDQNのネットワーク構造
- ドメインランダマイゼーション
- シミュレータの照明や色、摩擦などの条件をランダムに変えながら学習し、現実の環境にも対応できるモデルを得る手法
- ノイジーネットワーク
- ネットワークの重みに大きさを学習できるノイズを加え、その揺らぎによって探索を促す深層強化学習の手法
- 報酬成形
- 強化学習で本来の報酬に途中の手がかりとなる報酬を加えるなど、報酬の与え方を工夫して学習を進みやすくする方法
- マルチエージェント強化学習（MARL）
- 同じ環境の中で複数のエージェントが同時に行動し、それぞれが強化学習で行動の選び方を学ぶ枠組み
- 連続値制御
- ロボットの関節に加える力の大きさのように、行動を有限個の選択肢から選ぶのではなく、実数の値で決める必要がある制御の課題
- エージェント
- センサーなどで周囲の環境を知覚し、その情報にもとづいて行動を選び、環境に働きかける主体（技術1・技術9にも掲載）
- 強化学習
- エージェントが環境の中で試行錯誤しながら行動し、得られる報酬の合計が大きくなる行動の選び方（方策）を学ぶ機械学習の方法（技術9にも掲載）
技術30データ生成
- CycleGAN
- 対応するペア画像を使わずに、2つの画像の集合の間で行きと帰りの変換を同時に学習し、画像を別の領域の見た目へ変換するGAN
- DCGAN
- 生成器と識別器に畳み込みニューラルネットワークを使い、構造の指針を定めることで、GANによる画像生成の学習を安定させたモデル
- Diffusion Model
- データに少しずつノイズを加える過程を逆にたどり、ノイズを段階的に取り除くことで新しいデータを生成するモデル
- NeRF
- 複数の視点から撮った写真をもとに、空間の各点の色と密度をニューラルネットワークで表し、撮影していない視点の画像を合成する手法
- Pix2Pix
- 変換前の画像を条件として与える条件付きGANを使い、対応するペア画像から、画像を別の見た目の画像へ変換する方法を学習するモデル
- 音声生成
- 学習した音声データの特徴をもとに、話し声や音楽などの新しい音声データを作り出す技術
- 画像生成
- 学習した画像データの特徴をもとに、学習データにない新しい画像を作り出す技術
- GAN
- データを作る生成器と、本物か偽物かを見分ける識別器を競わせながら学習し、本物に近いデータを生成できるようにするモデル
- 文章生成
- 言語モデルなどを使い、与えられた指示や文脈に続く新しい文章を、単語を順に選びながら作り出す技術
技術31転移学習・ファインチューニング
- Few-shot学習
- 新しいクラスやタスクについて、数個程度の少ない例だけを手がかりに、識別や推論ができるようにする方式
- One-shot学習
- 新しいクラスやタスクについて、1つだけの例を手がかりに、識別や推論ができるようにする方式
- 自己教師あり学習
- データの一部を隠して当てさせるなど、データ自身から自動で作った正解を使って学習し、人手のラベルなしで有用な表現を得る手法
- 事前学習済みモデル
- 大規模なデータで汎用的な特徴をあらかじめ学習させ、別のタスクの出発点として再利用できるようにしたモデル
- 破滅的忘却
- 学習済みのニューラルネットワークに新しいタスクやデータを学習させると、以前に学習した内容の性能が大きく失われてしまう現象
- 半教師あり学習
- 少量のラベル付きデータと大量のラベルなしデータを組み合わせて、モデルを学習する手法
- 教師あり学習
- 入力と正解（ラベル）を組にしたデータを使い、入力から正解を予測する規則を学ぶ機械学習の方法（技術7にも掲載）
- 対照学習
- 似たデータどうしの表現を近づけ、似ていないデータどうしの表現を遠ざけるように学習して、有用な特徴表現を得る手法
- 転移学習
- あるタスクやデータで学習したモデルの知識を、別の関連するタスクの学習に生かす手法
- ファインチューニング
- 大量のデータで事前学習したモデルの重みを初期値とし、目的のタスクのデータで追加の学習を行って重みを調整する手法
技術32マルチモーダル
- CLIP
- インターネット上の大量の画像と文章の組を対照学習し、画像と文章を同じベクトル空間で比べられるようにしたモデル
- DALL-E
- OpenAIが開発した、入力した文章（プロンプト）の内容に沿った画像を生成するText-To-Imageのモデル
- Flamingo
- DeepMindが2022年に発表した、画像や動画と文章が交互に並んだ入力を読み取り、文章を出力する視覚言語モデル
- Image Captioning
- 画像を入力として、その画像に写っている内容を説明する自然な文章を生成するタスク
- Text-To-Image
- 文章で書いた指示（プロンプト）を入力として、その内容に合う画像を生成するタスクや技術
- Visual Question Answering
- 画像と、その画像についての自然言語の質問を入力として、質問への答えを出力するタスク
- Unified-IO
- 画像や文章、座標などの入出力を共通のトークン列で表し、視覚と言語にまたがる多数のタスクを1つで扱うモデル
- Zero-shot
- 解きたいクラスやタスクの例を1つも見せずに、事前に学習した知識と、クラス名や指示などの説明だけを手がかりに推論させる方式
- 基盤モデル
- 大規模で幅広いデータで事前学習され、ファインチューニングなどによって多様な下流タスクに適応できるモデル
- マルチタスク学習
- 関連する複数のタスクを1つのモデルで同時に学習し、タスク間で共通の知識を共有させて、それぞれの性能を高めようとする手法
技術33モデルの解釈性
- Grad-CAM
- CNNが画像のどの部分を根拠に判断したかを、出力に対する勾配を使ってヒートマップで示す可視化手法
- LIME
- 説明したい1件の予測の周辺だけで、複雑なモデルの振る舞いを線形モデルなどの単純なモデルで近似し、判断に効いた特徴量を示す手法
- Permutation Importance
- 1つの特徴量の値をデータ間で並べ替えたときの予測性能の低下から、その特徴量の重要度を測る手法
- SHAP
- 協力ゲーム理論のシャープレイ値を使い、1件の予測値と平均的な予測値との差を、各特徴量の貢献度として公平に分け合う説明手法
- 説明可能AI（XAI）
- AIが予測や判断に至った根拠や理由を、人が理解できる形で示すための技術や研究分野
技術34モデルの軽量化
- エッジAI
- 学習済みのAIモデルをスマートフォンやカメラ、工場の機器など、データが生まれる現場に近い端末で動かし、その場で推論する仕組み
- 蒸留
- 大きく高性能な教師モデルの出力を手本にして小さな生徒モデルを学習させ、軽いモデルで教師に近い性能を得る手法
- 宝くじ仮説
- ランダムに初期化した大きなネットワークの中に、同じ初期値から単独で学習しても元と同程度の精度に達する部分ネットワークがあるという仮説
- プルーニング
- 学習済みのニューラルネットワークから出力への寄与が小さい重みや結合を取り除き、精度をなるべく保ったままモデルを小さくする手法
- モデル圧縮
- 学習済みモデルの精度をなるべく保ちながら、パラメータ数やデータ量、計算量を減らして、モデルを小さく軽くする技術
- 量子化
- モデルの重みなどの値を、より少ないビット数の粗い段階で表すことで、メモリ使用量を減らし、計算を速く軽くする手法
7AIの社会実装に向けて
19語
技術35AIプロジェクトの進め方
- BPR
- 業務の目的に立ち返り、仕事の流れや組織の役割を根本から設計し直して、コストや品質、スピードを大きく改善する取り組み
- CRISP-DM
- ビジネスの理解から展開（デプロイ）までの6つのフェーズで、データ分析プロジェクトの進め方を示した業種横断の標準プロセスモデル
- CRISP-ML
- CRISP-DMを土台に、運用後の監視と保守や品質保証の考え方を加えた、機械学習システム開発のプロセスモデル
- Docker
- アプリケーションと実行に必要なライブラリや設定をコンテナという単位にまとめ、別のマシンでも同じように動かせるようにするソフトウェア
- Jupyter Notebook
- ブラウザ上でコードを少しずつ実行し、その結果やグラフ、説明の文章を1つの文書にまとめて残せる対話型の開発環境
- MLOps
- 機械学習モデルの開発と運用を一体として捉え、学習・デプロイ・監視・再学習を自動化して継続的に回すための考え方と仕組み
- PoC
- 新しい技術やアイデアが実際に役立つかを、本格的な開発の前に小さな規模で試して確かめる検証（法律・倫理6にも掲載）
- Python
- 文法が簡潔で読みやすく、機械学習やデータ分析のライブラリが豊富なことから、AI開発で広く使われているプログラミング言語
- Web API
- HTTPなどWebの技術を使い、ネットワーク越しに決められた形式で依頼を送ると処理の結果を返す、プログラム同士をつなぐ窓口
- アジャイル
- 短い期間で計画・開発・評価を繰り返し、動くものを少しずつ作りながら、変化に合わせて計画を見直していく開発の進め方
- ウォーターフォール
- 要件定義・設計・実装・テストなどの工程を上から順に進め、原則として前の工程に戻らないことを前提とする開発の進め方
- オープン・イノベーション
- 社外の技術やアイデアを取り入れたり、自社の技術を外に出したりして、研究開発と事業化を進める考え方
- クラウド
- サーバーやストレージ、ソフトウェアなどの計算資源を自前で持たず、インターネットなどのネットワークを通じて必要な分だけ借りて使う利用形態
- 産学連携
- 企業と大学などの研究機関が、共同研究や技術移転、人材の交流などを通じて協力し、研究の成果を事業や社会に生かす取り組み
- データサイエンティスト
- 統計学や機械学習などの知識を使ってデータを分析し、その結果をビジネスの課題の解決に結び付ける専門職
技術36データの収集・加工・分析・学習
- アノテーション
- 画像や文章、音声などのデータに、機械学習の正解として使うラベルや、意味を表す情報を付け加える作業
- オープンデータセット
- 大学や企業、行政機関などが誰でも入手できるように公開したデータの集まりで、機械学習では学習や性能評価に使われるもの
- コーパス
- 文章や話し言葉を大量に集め、コンピュータで検索や分析ができるように整理した言語データ
- データリーケージ
- 予測を行う時点では使えないはずの情報が学習や評価に紛れ込み、モデルの性能が実際より高く見積もられる現象
8AIに必要な数理・統計知識
26語
技術37AIに必要な数理・統計知識
- 移動平均
- 時系列データで、平均をとる区間（窓）を1つずつずらしながら直近の値の平均を求め、細かな変動をならして傾向を見やすくする方法
- 確率分布
- 確率変数がとりうる値（連続型では値の範囲）ごとに、その起こりやすさがどう割り当てられているかを表したもの
- 確率変数
- サイコロの出る目のように、試行の結果によって値が決まり、どの値（または値の範囲）をとるかの確率が定まっている変数
- 確率密度
- 連続型の確率変数が、ある値の付近の値をどれだけとりやすいかを表し、区間で積分するとその区間に入る確率になる量
- 疑似相関
- 2つの変数の間に直接の因果関係がないのに、両方に影響する第3の変数などによって相関が生じ、因果関係があるように見える現象
- 期待値
- 確率変数がとりうる値を、それぞれが起こる確率で重みづけして平均した値で、くり返したときの平均的な結果を表すもの
- 帰無仮説と対立仮説
- 仮説検定で否定をめざして立てる「差はない」などの仮説と、それが否定されたときに採る「差がある」などの仮説
- 共分散
- 2つの変数がそれぞれの平均からどちらの向きにずれるかが、どの程度そろっているかを表す値
- コサイン類似度
- 2つのベクトルがなす角度のコサインの値で、ベクトルの向きがどれだけ近いかを表す指標
- 最小二乗法
- 実測値とモデルによる予測値の差（残差）の2乗の和が最も小さくなるように、モデルのパラメータを決める方法
- 代表値（平均値・中央値・最頻値）
- データの分布の中心がどのあたりにあるかを、1つの数で要約して表す値
- 最尤法
- 手元のデータが得られる確率（尤度）が最も大きくなるように、確率モデルのパラメータを決める推定方法
- 条件付き確率
- ある出来事Bが起きたとわかっているときに、別の出来事Aが起きる確率P(A|B)
- 正規分布
- 平均を中心に左右対称な釣鐘型をした連続型の確率分布で、平均と標準偏差の2つの値で形が決まるもの
- 相関係数
- 2つの変数の間にある直線的な関係の強さと向きを、−1から1までの値で表す指標
- 相互情報量
- 一方の変数の値を知ることで、もう一方の変数についての不確かさがどれだけ減るかを表す、2つの変数の依存の強さを示す量
- 度数分布
- データの値をいくつかの区間（階級）に分け、それぞれの区間に入るデータの個数を数えて、値の散らばり方を示したもの
- 二項分布
- 成功確率が一定で互いに独立な試行をn回くり返したとき、成功する回数が従う離散型の確率分布
- 外れ値
- 入力の誤りやまれな出来事などによって、ほかの大多数の値から大きく離れた位置に現れる値
- 標準偏差
- データが平均からどの程度ばらついているかを表す値で、分散の正の平方根として求めるもの
- 偏相関係数
- 2つの変数の両方に影響する第3の変数の影響を取り除いたうえで、2つの変数の間に残る相関の強さを表す値
- ベルヌーイ分布
- 成功か失敗かのように結果が2通りしかない試行を1回だけ行うとき、成功を1、失敗を0とした確率変数が従う確率分布
- ポアソン分布
- 一定の時間や範囲の中で、まれな出来事がランダムに起きる回数が従う離散型の確率分布で、平均回数λだけで形が決まるもの
- マハラノビス距離
- データのばらつきと変数どうしの相関を考慮して、ある点がデータの集まりの中心からどれだけ離れているかを測る距離
- ユークリッド距離
- 各座標の差を2乗して足し合わせ、その平方根をとって求める、2つの点を結ぶ直線の長さ
- ベイズの定理
- P(A|B) = P(B|A) × P(A) / P(B)の式で条件付き確率の向きを入れ替え、観測した結果から原因の確率を求める定理
9AIに関する法律と契約
37語
法律・倫理1個人情報保護法
- GDPR
- EU域内の個人データの取扱いと域外への移転について定め、2018年5月から適用されているEUの一般データ保護規則
- 仮名加工情報
- 他の情報と照合しない限り特定の個人を識別できないように、氏名などを削除・置換して個人情報を加工した情報
- 個人識別符号
- 顔認証データや旅券番号、マイナンバーなど、それだけで特定の個人を識別できるものとして政令などで定められた符号
- 個人データ
- 個人情報データベース等を構成する個人情報、つまり検索できるように体系的にまとめたデータベースなどに含まれる個人情報
- 個人情報
- 生存する個人に関する情報で、氏名などにより特定の個人を識別できるもの、または個人識別符号を含むもの
- 第三者提供
- 個人情報取扱事業者が個人データを本人と自社以外の者に渡すことで、原則としてあらかじめ本人の同意が必要とされる行為
- 匿名加工情報
- 特定の個人を識別できず、元の個人情報に復元することもできないように個人情報を加工した情報
- 保有個人データ
- 個人データのうち、本人から請求される開示、訂正、利用停止などのすべてに事業者が応じる権限をもつもの（政令で定めるものを除く）
- 要配慮個人情報
- 人種、信条、病歴、犯罪の経歴など、不当な差別や偏見につながらないよう取扱いに特に配慮を要する個人情報
- 利用目的
- 事業者が個人情報を何のために使うのかをできる限り特定して定め、原則としてその範囲内で取り扱わなければならない目的
- 委託（個人データの取扱いの委託）
- 事業者が、個人データの入力、編集、分析などの処理を、契約の形を問わず他の者に行わせる行為
- 十分性認定
- GDPRにもとづき欧州委員会が、EU域外の国や地域のデータ保護の水準を十分と認め、そこへの個人データの移転を個別の許可なく認める決定
法律・倫理2著作権法
- 創作性
- 表現に作者の何らかの個性が表れていることを求める、著作物として著作権法で保護されるための要件
- 著作物
- 思想又は感情を創作的に表現したもので、文芸、学術、美術又は音楽の範囲に属する、著作権法で保護される対象
- AI生成物
- 生成AIなどのAIが、人の指示（プロンプト）などをもとに出力した文章、画像、音楽、プログラムなど
- 利用規約
- サービスの提供者が多数の利用者と共通の条件で取引するために、あらかじめ用意しておく契約条件（法律・倫理7にも掲載）
- 著作権侵害
- 著作権者の許諾も権利制限規定の根拠もなく、他人の著作物を複製・翻案・公衆送信などの方法で利用する行為
- 著作権法30条の4
- 著作物に表現された思想や感情を享受しない目的であれば、AIの学習などのために原則として許諾なく著作物を利用できると定めた規定
法律・倫理3特許法
- 発明
- 特許法上、自然法則を利用した技術的思想の創作のうち高度のもの
- 新規性
- 発明が特許出願の前に公然知られたり、公然実施されたり、刊行物やインターネットで公開されたりしていないことを求める特許の要件
- 進歩性
- その技術分野の通常の知識をもつ者（当業者）が、出願前の公知技術から容易に発明できたものではないことを求める特許の要件
- 知的財産権
- 発明、著作物、商標などの知的財産について、法令で定められた権利や、法律上保護される利益に係る権利をまとめた呼び名
- 職務発明
- 従業者等がした発明のうち、その性質が使用者等の業務範囲に属し、発明に至った行為が現在または過去の職務に属するもの
- 特許権
- 特許庁の審査を経た設定登録によって発生し、特許を受けた発明を業として一定期間独占的に実施できる権利
法律・倫理4不正競争防止法
法律・倫理5独占禁止法
法律・倫理6AI開発委託契約
- AI・データの利用に関する契約ガイドライン
- データの取引とAI開発の契約で検討すべき論点やモデル契約を、経済産業省が示した手引き
- NDA（秘密保持契約）
- 取引や検討のために相手に開示する秘密情報について、目的外の利用や第三者への開示をしないことを当事者間で約束する契約
- 請負契約
- 請負人が仕事の完成を約束し、注文者がその仕事の結果に対して報酬を支払うことを約束する契約
- 準委任契約
- 法律行為でない事務の処理を委託する契約で、受託者が仕事の完成ではなく、注意を尽くして事務を処理することを約束するもの
- 精度保証
- AIの開発やサービス提供の契約で、学習済みモデルの出力が一定の精度を満たすことを、提供する側が約束する取り決め（法律・倫理7にも掲載）
- PoC
- 新しい技術やアイデアが実際に役立つかを、本格的な開発の前に小さな規模で試して確かめる検証（技術35にも掲載）
- 保守契約
- システムやAIモデルが稼働した後に、障害への対応や点検、改善などの作業を一定の期間続けて行うことを約束する契約
法律・倫理7AIサービス提供契約
10AI倫理・AIガバナンス
43語
法律・倫理8国内外のガイドライン
- AI倫理
- AIの開発や利用が人や社会を傷つけないよう、守るべき価値や行動のあり方を考える分野と、その考えにもとづく原則
- AIガバナンス
- AIの利活用で生じるリスクを受容可能な水準で管理しつつ便益を最大化するための、技術的・組織的・社会的な仕組みの設計と運用（法律・倫理18にも掲載）
- 価値原則
- 人間の尊厳、公平性、プライバシー、透明性など、AIの開発や利用で尊重すべき価値を、行動の指針となる原則として言葉にしたもの
- ハードロー
- 法律や規則のように法的拘束力をもち、違反すると罰則や行政処分などの強制的な手段で守らせることができる規範
- ソフトロー
- ガイドラインや業界の自主ルールのように、法的拘束力や罰則はないものの、関係者の行動を方向づける規範
- リスクベースアプローチ
- AIの用途ごとに危害の大きさと起こりやすさを見積もり、リスクが大きいものほど強い対策を求める考え方
- EU AI法（AI Act）
- AIシステムをリスクの大きさで分類し、区分ごとに禁止や義務を定めた、EUの包括的なAI規制の法律
- AI事業者ガイドライン
- 総務省と経済産業省が、AIを開発・提供・利用する事業者に向けて、AIガバナンスの統一的な指針として示したソフトロー
法律・倫理9プライバシー
- カメラ画像利活用ガイドブック
- カメラ画像を商用目的で使う事業者に向けて、プライバシー保護のための配慮事項を総務省と経済産業省などが整理した手引き
- プライバシー・バイ・デザイン
- 問題が起きてから対処するのではなく、企画・設計の段階からプライバシー保護の仕組みを組み込んでおく考え方
法律・倫理10公平性
- アルゴリズムバイアス
- 学習データや設計の偏りが原因で、AIなどのアルゴリズムが特定の個人や集団に不当に不利な結果を出す傾向
- 公平性の定義
- AIの予測や判断が公平かどうかを確かめるために、グループ間や個人間で何をそろえれば公平とみなすかを定めた基準
- サンプリングバイアス
- データの集め方や対象の選び方が原因で、集めたデータ（標本）が対象全体（母集団）を正しく代表しなくなる偏り
- センシティブ属性
- 性別、人種、年齢、宗教など、それを理由にした不当な差別が生じないよう、AIの公平性の観点から特に配慮すべき個人の属性
- 代理変数
- 性別や人種などのセンシティブ属性と強く相関するために、その属性を直接使わなくても、実質的にその代わりとして働いてしまう変数
- データの偏り
- AIの学習や評価に使うデータが、特定の集団の過不足や社会の偏見を含み、現実の対象や望ましい判断を正しく反映していない状態
法律・倫理11安全性とセキュリティ
- Adversarial Attack
- 人には気づきにくい小さな細工を入力データに加え、AIモデルに誤った判断をさせる攻撃
- セキュリティ・バイ・デザイン
- システムの企画・設計の段階からセキュリティ対策を組み込み、開発の全工程を通じて安全性を確保する考え方
- データ汚染
- AIの学習に使われるデータに攻撃者が不正なデータを紛れ込ませ、学習後のモデルの判断を誤らせたり、ゆがめたりする攻撃
- データ窃取
- AIの学習に使われたデータやAIシステムが扱うデータを、権限のない者が不正に持ち出したり、モデルの出力から推測して復元したりする攻撃
- モデル窃取
- 公開されたAIモデルに多数の入力を送り、返ってくる出力をもとに、元のモデルとほぼ同じ働きをするモデルを作り出す攻撃
- モデル汚染
- 配布される学習済みモデルや、共同で学習中のモデルの重みなどに攻撃者が細工を加え、狙いどおりに誤動作させる攻撃
法律・倫理12悪用
法律・倫理13透明性
法律・倫理14民主主義
法律・倫理15環境保護
- モデル学習の電力消費
- AIモデルの学習で多数のGPUやデータセンターが大量の電力を使うことと、それに伴う温室効果ガスの排出などの環境負荷
法律・倫理16労働政策
法律・倫理17その他の重要な価値
- ダイバーシティとインクルージョン
- 多様な背景をもつ人がいること（多様性）と、その誰もが排除されずに参加できること（包摂性）を目指す考え方（法律・倫理18にも掲載）
- AIの軍事利用
- 情報の分析や兵器の制御など軍事目的でのAIの活用と、人の関与なしに攻撃する自律型兵器などをめぐる倫理的・法的な課題
- 死者への敬意
- AIで故人の声や姿を再現したり故人の情報を扱ったりするときに、故人の尊厳や生前の意思、遺族の心情を尊重すべきだという考え方
- 人間の自律性
- 人がAIに判断を操作されたり過度に依存したりせず、自分の意思で考えて選択し、決定できる状態
法律・倫理18AIガバナンス
- AIポリシー
- 組織がAIを開発・提供・利用するうえで目指すことと守る原則を、経営上のゴールと整合させて定めた自社の基本方針
- ダイバーシティとインクルージョン
- 多様な背景をもつ人がいること（多様性）と、その誰もが排除されずに参加できること（包摂性）を目指す考え方（法律・倫理17にも掲載）
- AIに対する監査
- AIを管理する仕組みが方針どおりに設計・運用され、有効に機能しているかを、設計や運用から独立した専門性のある者が評価する活動
- 倫理アセスメント
- AIを開発・導入する前や運用中に、そのAIが人や社会に与えうる差別やプライバシー侵害などの影響を洗い出し、対策を決める評価
- 人間の関与（Human-in-the-Loop）
- AIの判断の流れに人を組み込み、人が出力を確認・修正したり止めたりできるようにする仕組み
- モニタリング（AIシステムの運用監視）
- 運用中のAIの性能や入出力を継続的に見張り、精度の劣化や偏りなどの問題を早く見つけて対処につなげる活動
- 再現性
- 同じデータ、プログラム、設定などの条件でAIの学習や推論をやり直したときに、同じ結果が得られる性質
- トレーサビリティ
- データの出所、モデルの版、開発や運用中の意思決定などを記録し、AIの結果が生まれた経緯を後から追跡できる状態
- AIガバナンス
- AIの利活用で生じるリスクを受容可能な水準で管理しつつ便益を最大化するための、技術的・組織的・社会的な仕組みの設計と運用（法律・倫理8にも掲載）
違い比較
- アジャイルとウォーターフォールの違い
- 赤池情報量規準（AIC）とベイズ情報量規準（BIC）の違い
- バギングとブースティングの違い
- バッチ正規化とレイヤー正規化の違い
- バッチ学習・ミニバッチ学習とオンライン学習の違い
- BERTとGPTの違い
ほかの46件
- CBOWとスキップグラムの違い
- 分類問題と回帰問題の違い
- CNN・RNNとTransformerの違い
- 協調フィルタリングとコンテンツベースフィルタリングの違い
- 共分散と相関係数の違い
- データ汚染とAdversarial Attackの違い
- 決定木とランダムフォレストの違い
- 深さ優先探索と幅優先探索の違い
- 営業秘密と限定提供データの違い
- Faster R-CNNとYOLOの違い
- GANと拡散モデル（Diffusion Model）の違い
- GANとVAEの違い
- GDPRと個人情報保護法の違い
- 勾配降下法と誤差逆伝播法の違い
- グリッドサーチとランダムサーチの違い
- ホールドアウト検証と交差検証の違い
- 画像分類（物体識別）と物体検出の違い
- 委託・第三者提供と共同利用の違い
- k-means法と階層的クラスタリングの違い
- 個人情報・個人データと保有個人データの違い
- 個人情報と個人識別符号の違い
- L1正則化とL2正則化の違い
- 最小二乗法と最尤法の違い
- LIMEとSHAPの違い
- LSTMとGRUの違い
- 機械学習とディープラーニングの違い
- 平均絶対値誤差（MAE）と平均二乗誤差（MSE）の違い
- 正規化と正則化の違い
- 主成分分析（PCA）と特異値分解（SVD）の違い
- 主成分分析（PCA）とt-SNEの違い
- 適合率と再現率の違い
- プルーニング・量子化と蒸留の違い
- Q学習とSARSAの違い
- RNNとLSTMの違い
- Self-AttentionとSource-Target Attentionの違い
- セマンティック・インスタンスとパノプティックの違い
- 新規性と進歩性の違い
- シグモイド関数とソフトマックス関数の違い
- ソフトローとハードローの違い
- 強いAIと弱いAIの違い
- 教師あり学習・教師なし学習と強化学習の違い
- 特許権と著作権の違い
- 匿名加工情報と仮名加工情報の違い
- 転移学習とファインチューニングの違い
- 請負契約と準委任契約の違い
- Zero-shotとFew-shotの違い