教師あり学習・教師なし学習と強化学習の違い｜学習の手がかりと代表例

結論

教師あり学習は入力と正解の組から、入力に対する正解を予測する規則を学び、教師なし学習は正解のないデータから構造やまとまりを見つけます。強化学習は、環境の中で行動した結果として得る報酬を手がかりに、将来の分まで含めた報酬の合計が大きくなる行動の選び方を学びます。

比較表

教師あり学習・教師なし学習と強化学習の違いの比較表
観点	教師あり学習	教師なし学習	強化学習
学習の手がかり	入力と正解（ラベル）の組	入力データだけ	行動の結果として得る報酬
学ぶもの	入力から正解を予測する関数	データの構造（まとまり、少ない変数での表し方）	状態に応じて行動を選ぶ方策
代表的な課題	回帰、分類	クラスタリング、次元削減	ゲームの攻略、ロボットの制御
代表的な手法	線形回帰、ロジスティック回帰、決定木、SVM、ランダムフォレスト	k-means法、ウォード法、主成分分析(PCA)、t-SNE	Q学習、SARSA、方策勾配法
業務での例	過去の記録から、解約しそうな顧客を予測する	購買傾向の似た顧客をグループに分ける	倉庫のロボットに、荷物を運ぶ動き方を試行錯誤で学ばせる
結果の確かめ方	正解と比べる（正解率、平均二乗誤差など）	正解がないため、まとまりのよさの指標や、結果を解釈して使えるかで判断する	得られた報酬の合計で判断する
シラバス項目	技術分野項目7 教師あり学習	技術分野項目8 教師なし学習	技術分野項目9 強化学習

それぞれの説明

教師あり学習

教師あり学習は、入力と正解（ラベル）の組を大量に与え、入力から正解を予測する規則を学ぶ方法です。正解が数値なら回帰、カテゴリなら分類と呼びます。来月の売上金額の予測は回帰、メールが迷惑メールかどうかの判定は分類です。正解と予測を比べて誤差を測れるので、正解率や平均二乗誤差などで性能を評価できます。その代わり、データに正解を付ける作業（アノテーション）に手間がかかります。

教師なし学習

教師なし学習は、正解のないデータから、データそのものの構造を見つける方法です。似たデータをまとめるクラスタリングと、情報をなるべく保ったまま変数の数を減らす次元削減が、代表的な課題です。顧客を購買傾向でグループに分けたり、多数の項目を少数の指標に要約したりするのに使います。出てきたまとまりが何を意味するかは、人が解釈します。

強化学習

強化学習は、エージェントが環境の中で行動し、その結果として受け取る報酬を手がかりに、よい行動の選び方（方策）を学ぶ方法です。各時点での正解の行動は与えられません。目先の報酬ではなく、将来の分まで含めた報酬の合計が大きくなるように、試行錯誤を通じて学びます。ゲームの攻略やロボットの制御が代表的な応用です。

3つの関係

3つは並列の関係で、違いは学習の手がかりにあります。実際のシステムでは組み合わせることも多く、AlphaGoは人間の棋譜を使った教師あり学習の後、自己対局による強化学習で強くなりました。一部のデータにだけ正解がある半教師あり学習や、データ自体から正解を作る自己教師あり学習のように、中間的な方法もあります。

見分けるコツ

まず、正解（ラベル）が与えられているかを確かめます。正解があれば教師あり学習、なければ教師なし学習です。
「報酬」「行動」「環境」「エージェント」という言葉があれば強化学習です。各時点の正解の行動は与えられず、報酬は行動のよしあしを示す手がかりにとどまります。
分類とクラスタリングは、どちらも「グループに分ける」ので取り違えやすい組み合わせです。区分と正解が先に決まっていれば分類（教師あり学習）、データから区分を見つけるならクラスタリング（教師なし学習）です。

◯×チェック

教師なし学習で作ったクラスタには、学習の時点で「優良顧客」「休眠顧客」のような意味のある名前が自動的に付く。

答えを見る

答え × 誤り

クラスタリングが出力するのは、似たデータのまとまりだけです。各まとまりが何を意味するかは、人がその特徴を見て解釈します。
回帰と分類は、どちらも正解を与えて学ぶ教師あり学習の課題で、予測する正解が数値かカテゴリかで区別される。

答えを見る

答え ◯ 正しい

売上金額のように数値を予測するのが回帰、迷惑メールかどうかのようにカテゴリを予測するのが分類です。ロジスティック回帰は名前に「回帰」とつきますが、分類に使います。
主成分分析(PCA)は、目的変数の値をもとに説明変数を組み合わせて次元を減らすため、教師あり学習に分類される。

答えを見る

答え × 誤り

PCAは、正解（目的変数）を使わず、データのばらつきが大きい方向を見つけて次元を減らす手法です。教師なし学習の代表例です。