ホールドアウト検証と交差検証の違い｜分割回数・計算量・使い分け

結論

ホールドアウト検証はデータを学習用と評価用に一度だけ分けて評価する方法で、交差検証は検証用のグループを入れ替えながら学習と評価を繰り返し、その平均で評価する方法です。データが少ないときは評価が安定する交差検証、データが多いときや1回の学習に時間がかかるときは計算の軽いホールドアウト検証を使うのが基本です。

比較表

ホールドアウト検証と交差検証の違いの比較表
観点	ホールドアウト検証	交差検証
英語	holdout validation（hold out＝取っておく）	cross-validation（CV）
データの分け方	学習用と評価用に一度だけ分ける（例：8対2）	k個のグループに分け、1つを検証用、残りを学習用にする組み合わせを順に入れ替える（k-分割交差検証）
学習と評価の回数	1回	k回（kは5や10がよく使われる）
評価に使われるデータ	評価用に取り分けた一部だけ	すべてのデータが一度ずつ検証用になる
評価値の安定性	分け方の偶然でぶれやすい。評価用データが少ないほどぶれは大きい	k回の平均をとるので安定しやすい
計算量	少ない（学習1回）	1回の学習のおよそk倍
向く場面	データが大量にあるとき、1回の学習に時間がかかる深層学習	データが少なく、手元のデータをむだなく使いたいとき
時系列データの分け方	古い期間を学習用、新しい期間を評価用にする	学習に使う期間を少しずつ延ばし、そのすぐ後の期間で検証することを繰り返す（学習側が常に検証側より前になる）
シラバス項目	技術分野項目10 モデルの選択・評価（キーワード「ホールドアウト検証」）	技術分野項目10 モデルの選択・評価（キーワード「交差検証」「k-分割交差検証」）
G検定での問われ方	一度だけ分ける手順、計算が軽い利点と分け方に左右される弱点、大規模データの場面で選ぶ判断	k-分割の手順と平均をとること、計算量がk倍になること、少量データの場面で選ぶ判断、時系列データでの分け方

それぞれの説明

ホールドアウト検証と交差検証は、どちらも学習に使っていないデータでモデルを評価し、汎化性能を見積もる方法です。学習に使ったデータで測ると、答えを覚えただけのモデルでも高い成績が出てしまうためです。違いは、データを何回分け直して評価するかにあります。

ホールドアウト検証

データを学習用と評価用に一度だけ分けます。たとえば1万件なら、8,000件で学習し、残りの2,000件で評価します。学習と評価が1回ずつなので、計算は軽く済みます。

弱点は、どのデータがたまたま評価用に入ったかで成績が変わることです。評価用データが少ないほど、このぶれは大きくなります。評価用に回した分だけ、学習に使えるデータも減ります。

交差検証

代表的なk-分割交差検証では、データをk個のグループに分けます。1つを検証用、残りを学習用にして学習と評価を行い、検証用のグループを入れ替えながらk回繰り返します。k回の評価値の平均が、性能の見積もりです。すべてのデータが一度ずつ検証に使われるので、分け方の偶然に左右されにくくなります。その代わり、学習をk回行うため、計算量はおよそk倍です。kをデータの件数と同じにして1件ずつ検証に回す方法を、Leave-One-Out交差検証と呼びます。

どちらを使うか

データが少ない場面では、交差検証でデータをむだなく使います。データが大量にあれば評価用データも大きく取れるので、ホールドアウト検証でも見積もりは安定します。1回の学習に何時間もかかる深層学習では、k回の学習が現実的でないことも多く、ホールドアウト検証がよく使われます。

どちらの場合も、ハイパーパラメータの調整やモデルの選択に使ったデータとは別に、最終評価用のテストデータを残しておきます。時系列データでは無作為に分けず、過去のデータで学習し、それより後の期間で評価します。

見分けるコツ

手順に「繰り返し」と「平均」があるかで見分けます。一度だけ分けて1回評価するならホールドアウト検証、検証用を入れ替えながら繰り返して平均するなら交差検証です。
場面問題では、データの量と1回の学習にかかる時間を確かめます。データが少なければ交差検証、データが大量で学習が重ければホールドアウト検証が基本です。
交差検証を使っても、最終評価用のテストデータは別に残します。交差検証が置き換えるのは検証用データで、テストデータではありません。

◯×チェック

1,000件のデータで5-分割交差検証を行うと、1回の学習には800件が使われる。

答えを見る

答え ◯ 正しい

1グループは200件です。検証用の1グループを除いた4グループ、800件で学習し、これを5回繰り返します。学習に使う件数は、8対2に分けたホールドアウト検証と同じです。
k-分割交差検証のkを大きくするほど、1回の学習に使えるデータの割合は小さくなる。

答えを見る

答え × 誤り

学習に使う割合は(k−1)/kで、k=5なら80%、k=10なら90%です。kを大きくすると学習に使えるデータは増えますが、学習の回数も増えて計算に時間がかかります。
k-分割交差検証では、k回の評価値のうち最も良かった1回の値を、汎化性能の見積もりとして報告する。

答えを見る

答え × 誤り

報告するのはk回の評価値の平均です。最も良い1回だけを選ぶと、たまたま有利な分け方だった結果を拾うことになり、性能を楽観的に見積もります。