分散表現とは

分散表現は、単語などの意味を、数百次元程度の実数のベクトルで表す方法です。自然言語処理では、単語を分散表現のベクトルに変換することを、単語埋め込み（word embedding）とも呼びます。

ワンホットベクトルとの違い

単語をベクトルにするいちばん単純な方法は、ワンホットベクトルです。語彙が1万語なら1万次元のベクトルを用意し、その単語に対応する1か所だけを1、ほかを0にします。この方法には2つの弱点があります。

• 語彙が増えるほど次元が大きくなり、ほとんどが0のベクトルになる。
• どの2つの単語のベクトルも直交するため、「犬」と「猫」が似ていることを表せない。

分散表現では、1つの単語を、たとえば300個の実数の組み合わせで表します。意味の情報が多くの次元に少しずつ分かれて書き込まれていることが、「分散」という名前の由来です。似た文脈で使われる単語ほどベクトルが近くなるように学習するので、コサイン類似度などで意味の近さを測れます。

どう学習するか

代表的な手法がword2vecです。「似た文脈に現れる単語は意味も似ている」という分布仮説にもとづき、周辺の単語から中心の単語を予測する（CBOW）、またはその逆（スキップグラム）の課題を解かせて、ベクトルを学習します。学習した分散表現では、「王様」−「男性」＋「女性」の結果が「女王」のベクトルに近くなる例が知られています。

word2vecでは単語ごとにベクトルが1つに固定されますが、その後、文脈に応じてベクトルが変わるELMoやBERTが登場しました。

背景

分散表現の考え方は、1980年代にHintonらが論じたものです。2003年にはBengioらが、単語の分散表現を学習するニューラル言語モデルを提案し、次元の呪いへの対策として位置づけました。

覚え方

「分散表現は、意味を多くの次元に少しずつ分けて書き込む」と覚えます。