情報検索とは

情報検索は、大量の文書の中から、利用者が求める情報に合うものを探し出す技術です。Webの検索エンジンが代表例で、社内文書の検索や、通販サイトの商品検索、FAQの検索などにも使われています。

基本的な仕組み

検索のたびにすべての文書を先頭から読んで検索語を探すと、文書が増えるほど時間がかかります。そこで、単語ごとに、その単語を含む文書の一覧を記録した索引をあらかじめ作っておきます。これを転置インデックスといいます。本の巻末にある索引と同じ考え方です。日本語の文書では、索引を作るために、形態素解析で単語に区切ったり、文字の並びをn-gramで区切ったりします。

次に、見つかった文書を、検索語との関連の強さで並べ替えます。古くから使われてきたのは、文書と検索語を単語の出現回数などのベクトルで表し、TF-IDFで重み付けして類似度を比べる方法です。近年は、ニューラルネットワークで文の意味をベクトルにして比べる方法も広く使われます。この方法なら、「値段」と「価格」のように語が一致しない言い換えにも対応しやすくなります。

評価の考え方

検索結果のうち、求める情報に合う文書が占める割合を適合率といいます。求める情報に合う文書全体のうち、検索結果に含まれた割合は再現率です。この2つは情報検索の評価で古くから使われてきた指標で、機械学習の分類の評価にも使われます。

質問応答やRAGとの関係

情報検索が返すのは、関連する文書の一覧です。答えそのものを返す質問応答とは、目的が異なります。ただし、質問応答のシステムの多くは、まず情報検索で関連する文書を絞り込み、その中から答えを探します。

大規模言語モデルの回答の前に社内文書などを検索して入力に加えるRAG（検索拡張生成）も、情報検索を土台にした仕組みです。検索で正しい文書を取り出せないと、回答の質も下がります。