n-gramとは

n-gramは、文章を「連続するn個の要素」に区切って扱う考え方です。要素は文字のことも、単語のこともあります。nが1ならuni-gram、2ならbi-gram、3ならtri-gramと呼びます。

たとえば「猫／が／魚／を／食べる」と単語に区切った文の単語bi-gramは、「猫／が」「が／魚」「魚／を」「を／食べる」の4つです。

n-gram言語モデル

文章がどれくらい自然かを確率で表すのが言語モデルです。n-gram言語モデルは、「次の単語は直前のn−1語だけで決まる」と単純化します。この単純化をマルコフ性の仮定と呼びます。bi-gramならP(食べる | を)のように直前の1語だけを条件にし、その確率をコーパスでの出現回数から求めます。文全体の確率は、これらの確率の積で近似します。

統計的機械翻訳や音声認識では、訳文や認識結果の候補がどれだけ自然かを評価するのに、長く使われてきました。古くは1948年に、Shannonが文字や単語のn-gramを使って英語らしい文を作る例を示しています。

弱点

nを大きくすると長い文脈を見られます。しかし、ありうる並びの数は語彙の数のn乗で増えます。学習データに一度も現れない並びの確率が0と推定される問題が起きやすく、確率を少しずつ割り振り直すスムージングで対処します。また、n−1語より前の情報は使えません。この限界を超えるために、RNNやTransformerによるニューラル言語モデルが発展しました。

言語モデル以外の使い道

• 特徴量：BoWで数える単位をbi-gramなどに広げ、近くの語順を一部とり込みます。
• 文字n-gram：単語に区切らずに文字の並びのまま扱えるため、全文検索の索引に使われます。fastTextは、単語を文字n-gramの集まりとして表し、未知語にもベクトルを与えます。

覚え方

「n個ずつ、1つずらしで切り出す」と覚えます。