AIに必要な数理・統計知識（G検定 技術分野）

記述統計：データの姿をつかむ

• 平均・中央値・最頻値：データの中心を表す値です。平均は合計÷件数、中央値は小さい順に並べた真ん中の値、最頻値は最も多く現れる値です。
• 外れ値：ほかから大きく離れた値です。平均は引っ張られますが、中央値はほとんど動きません。
• 分散・標準偏差：分散は平均との差を2乗して平均した値、標準偏差はその平方根です。3、3、7、7なら平均5、分散は (4+4+4+4)÷4 = 4、標準偏差は2です。
• 度数分布：値の区間ごとに件数を数えた表です。区間を横軸、件数を柱の高さにしたグラフをヒストグラムといいます。
• 移動平均：直近の数個の平均を1つずつずらして求め、時系列の細かな上下をならします。

確率：起こりやすさを数で表す

確率変数は、サイコロの目のように確率で値が決まる変数で、値と確率の対応を確率分布といいます。期待値は「値×確率」の合計で、サイコロなら3.5です。条件付き確率 P(A|B) = P(AかつB) ÷ P(B) は、Bが起きたときにAが起きる確率で、迷惑メールの判定などに使われます。身長のような連続値では、確率密度関数のグラフの下の面積で確率を表します。

相関：2つの変数の関係

• 共分散：2つの変数が同じ向きに動くかを表しますが、単位で大きさが変わります。
• 相関係数：共分散を2つの変数の標準偏差の積で割り、-1から1に収めた値です。
• 疑似相関：アイスの売上と水難事故のように、気温という第3の要因で生じる見かけの相関です。
• 偏相関係数：第3の変数の影響を除いた相関で、疑似相関の確認に使います。
• 相互情報量：一方を知ると他方の不確かさがどれだけ減るかを表します。

推定・検定：データから結論を出す

最小二乗法は、予測と実測の差の2乗の合計が最小になるようにパラメータを決める方法で、線形回帰の基本です。最尤法は、手元のデータが得られる確率（尤度）が最大になるパラメータを選びます。分類で交差エントロピーを小さくする学習は、最尤法にあたります。仮説検定では、否定したい帰無仮説（新薬に効果はない）と、示したい対立仮説（効果がある）を立て、帰無仮説のもとでは起こりにくい結果が出たときに帰無仮説を棄却します。

距離：データどうしの近さ

• ユークリッド距離：2点を結ぶ直線の長さです。(0, 0)と(3, 4)なら5です。
• マハラノビス距離：データのばらつきと相関を考慮した距離で、異常検知に使われます。
• コサイン類似度：ベクトルの大きさを無視し、向きの近さを-1から1で表します。文書や単語の比較に使います。