fastTextとは

fastTextは、Facebook（現Meta）のAI研究チームが2016年に発表した、単語のベクトル表現と文書分類のための手法です。word2vecを考案したTomas Mikolovも著者に加わっています。同じ名前のライブラリとしても公開されています。

word2vecとの違い：文字n-gram

word2vecは、単語を1つのまとまりとして扱い、単語ごとに1つのベクトルを学習します。そのため、学習データに出てこなかった単語にはベクトルを作れません。また、「play」「played」「playing」のように形の似た単語どうしの関係も、別々に学ぶしかありません。

fastTextは、単語をさらに細かい文字n-gram（連続するn文字の並び）に分けて扱います。論文では、単語の前後に境界を示す記号を付け、3〜6文字のn-gramを取り出しています。たとえばwhereの3文字のn-gramは「<wh」「whe」「her」「ere」「re>」です。単語のベクトルは、これらのn-gramのベクトルと、単語そのもののベクトルの和で表します。学習の枠組みは、word2vecのスキップグラムを土台にしています。

何がよくなるのか

• 未知語に強い：学習データにない単語でも、含まれるn-gramのベクトルを足せばベクトルを作れます。
• 語形変化の多い言語に強い：語幹や語尾を共有する単語どうしが、自然に近いベクトルになります。
• 速い：浅いネットワークで学習します。文書分類の論文では、10億語を超える文章を一般的なCPUで10分足らずで学習できたと報告されています。

限界

fastTextも、1つの単語には文脈によらず同じベクトルを割り当てます。そのため、多義語を文脈で区別できない点はword2vecと同じです。この課題には、文脈ごとにベクトルを変えるELMoやBERTが取り組みました。

覚え方

「単語を文字のかけらに分けて、かけらの和で表す」と覚えます。