オッカムの剃刀とは

オッカムの剃刀は、「説明に要らないものはそり落とせ」という考え方です。14世紀に活躍したイングランドの哲学者、オッカムのウィリアムの名にちなみます。日本語では「ケチの原理」「思考節約の原理」とも呼ばれます。

もとの意味

よく知られた言い回しは「存在を必要以上に増やしてはならない」です。考え方はオッカムのものですが、この言い回しそのものは彼の著作には見当たりません。

機械学習での意味

機械学習では、「データを同じ程度に説明できるなら、より単純なモデルを選ぶ」という指針として使われます。

たとえば、10個のデータ点に直線と9次式を当てはめたとします。9次式は10個の点をすべて通せますが、偶然のばらつきまで拾うため、新しいデータでは大きく外れがちです。これが過学習です。単純なモデルを優先することは、汎化性能を守る方向に働きます。

この考え方は、ほかの手法にも入っています。AICやBICは、パラメータ数に罰則を与えてモデルを選びます。正則化は、重みが大きくなりすぎないように抑えて、モデルの複雑さを制限します。

限界

オッカムの剃刀は経験にもとづく指針で、精度の高さを保証するものではありません。Domingosは1999年の論文で、精度が同じなら分かりやすい単純なモデルを選ぶ、という意味では妥当だとしました。一方で、「単純なほど精度が高い」という主張は、普遍的な原則としては成り立たないと論じています。ディープラーニングでは、パラメータが非常に多いモデルが高い汎化性能を示すこともあります。最終的には、検証用のデータで性能を確かめて選びます。

ノーフリーランチの定理との違い

ノーフリーランチの定理は、「すべての問題で平均すると、どの手法の性能も同じになり、万能な手法はない」という主張です。単純なモデルを勧める原則ではありません。

覚え方

「同じくらい説明できるなら、余分な仮定はそり落とす」と覚えます。