word2vecとは

word2vecは、2013年にGoogleのTomas Mikolovらが発表した、単語をベクトルで表す手法です。単語の意味を、数百個の数値の並び（分散表現、単語埋め込み）として表します。

背景：ワンホットベクトルの限界

単語を数値にする素朴な方法に、語彙の数だけ次元をもち、その単語の位置だけが1で残りが0のワンホットベクトルがあります。この表し方では、どの2語も同じだけ離れているため、「犬」と「猫」が似ていることを表せません。

分布仮説と2つのモデル

word2vecの土台は、「似た文脈に現れる単語は、意味も似ている」という分布仮説です。文章中の単語と周辺の単語の関係を予測する課題を解かせ、その過程で得られる重みを単語のベクトルとして使います。

• CBOW：周辺の単語から、中心の単語を予測します。
• スキップグラム：中心の単語から、周辺の単語を予測します。

ネットワークは隠れ層が1つだけの浅い構造で、計算が軽いのが特徴です。論文では、16億語の文章から1日足らずで質の高いベクトルを学習できたと報告されています。続く論文では、ネガティブサンプリングなどの工夫で学習をさらに効率化しました。

できること

意味の近い単語は、ベクトルも近くなります。近さはコサイン類似度で測るのが一般的です。さらに、「King」−「Man」+「Woman」を計算すると「Queen」に近いベクトルになるなど、足し引きで意味の関係を表せます。

限界とその後

word2vecは、1つの単語に1つのベクトルしか割り当てません。そのため、多義語を文脈に応じて区別できません。また、学習データにない単語にはベクトルを作れません。後者は、単語を文字n-gramに分けて学ぶfastTextが補いました。前者は、文脈ごとにベクトルを変えるELMoやBERTによって解決が進みました。

覚え方

「周りの単語を見れば、意味がわかる」と覚えます。