全文検索の紹介

導入

データベースシステムの最も一般的な機能の1つは、指定されたクエリに従って項目を検索する機能です。従来のデータベースクエリは、システムツールとデータ構造に精通したユーザーによる構造化されたコマンドに適していますが、ユーザーに公開されている検索機能のほとんどは、異なる技術を使用しています。

この記事では、全文検索の背後にある考え方を紹介します。この種のテキスト処理と検索が従来のデータベースクエリとどのように異なるか、そして多くの場合に役立つ理由について説明します。インデックス作成およびクエリプロセス中に、取得する結果に影響を与えるためにできる決定のいくつかを探り、必要な結果を得るためにこれらのシステムと対話する際に生じるトレードオフのいくつかについて説明します。

全文検索とは？

全文検索とは、データベースシステム内のドキュメントの完全なテキストを検索できるようにする一連の技術の用語です。これは、メタデータ、部分的なテキストソース、およびその他の不完全な評価のみに依存する検索機能とは直接対立します。

通常のデータベースクエリとは対照的に、全文検索は言語認識型です。これは、意味的に意味のある結果を取得するために、保存されたドキュメントと検索自体の両方で使用される言語の理解に、ある程度のレベルで依存していることを意味します。

全文検索には、ユーザーのクエリに対する相対的な類似性に基づいて結果をランク付けし、ソートする機能もよく含まれます。これにより、エンジンは最も適切な結果を最初に表示したり、明示的に要求されない限り、ランクの低い項目を除外したりすることができます。

インデックスの重要性

多くのデータベース操作はインデックス作成によって改善できますが、全文検索は特に非同期インデックス作成プロセスに依存します。

インデックス作成とは、既存のドキュメントを解析してインデックスを構築するプロセスです。インデックスは、要求された項目を迅速に見つけるために特別に設計された、より小さく最適化された構造です。通常のデータベースインデックスがいくつかのフィールドを分析してインデックスを作成するのに対し、全文検索インデックスはドキュメントの完全なテキストを分析することによって作成されます。

インデックスがない場合、検索はシリアルスキャンと呼ばれるプロセスを完了する必要があります。このプロセスでは、システムがクエリ時に各項目を分析して、クエリ条件に一致するかどうかを確認します。Unixライクなシステムに詳しい人にとっては、クエリ中にファイルシステムをスキャンするfindツールを使用してファイル名を検索することと、定期的に更新されるインデックスに依存する高速なlocateコマンドの違いに似ています。

インデックス作成プロセスの最適化

ストップワードやステミング以外にも、データベース管理者がインデックス作成プロセスを最適化する方法は他にもあります。

一部のシステムでは、ドキュメント作成者がドキュメントテキストとともに、関連するキーワードのリストを提供できます。これらは、単語の適切なコンテキストについてインデクサーにヒントとして使用できるだけでなく、ドキュメントの意図する主要な主題を指示するのにも役立ちます。また、インデクサーが同形異義語（スペルは同じだが意味が異なる単語。「意地悪な」人と算術的な「平均」の違いなど）を区別するのにも役立ちます。

開発者と管理者は、使用されるパーサー、辞書、およびトークンの種類を指示することもできます。これらは、インデックス作成プロセス中にテキストがどのように処理され、分解され、分類されるかを決定します。解析アルゴリズムやインデックス作成パターンを変更すると、作成されるインデックスの構造、異なる種類のクエリでのパフォーマンス、および複雑なクエリに対応する柔軟性が変化する可能性があります。

将来のクエリに大きな影響を与える可能性のあるさらなる影響のポイントは、ドキュメントテキスト内のさまざまな要素を重み付けすることです。管理者は、たとえば、ドキュメントのフッターではなくタイトルに含まれる単語に、増加した「重み」、または関連性を割り当てることができます。システムによっては、これは非常に洗練されており、表現力がある場合があります。たとえば、ドキュメントタイトルを分析する際に、主題に特化した単語リストを使用して、ドキュメントごとに主題に関連する用語に重みを増やすことができます。

クエリエンジンへの影響

ほとんどの全文検索システムでは、実際のクエリプロセス中に表現力を許容することも重要です。クエリインターフェースは、この表現力をさまざまな方法で公開できます。

構造化された項目をクエリする際にユーザーが持つ制御レベルを高める最も簡単な方法の1つは、フィールドによる検索を許可することです。これは非構造化テキストではそれほど関連性がありませんが、著者、発行日、タイトル、ジャンルなどのフィールドを使用して検索するためにメタデータと組み合わせると非常に役立ちます。可能な値が少ないフィールドの場合、使いやすさを高めるために、検索可能にするのではなく、インターフェース内で直接選択できるようにすることができます。

複合クエリ演算子は、全文検索ツールがユーザーにクエリエンジンに影響を与えることを許可するもう1つの簡単な方法です。これにより、ユーザーは「and」のような単純なブール論理を使用してクエリを構造化し、存在する必要がある複数の用語を含めたり、「or」を使用して代替を含めたりできます。また、ユーザーが含めるべきではない用語のリスト、存在すべきフレーズ、またはテキスト内の単語間の近接度を考慮するクエリを提供することで、より複雑な機能を有効にすることもできます。

検索インターフェースがクエリエンジンに影響を与えるもう1つの重要な方法は、「厳密な」クエリモードを有効にすることです。通常操作中に近い一致を含めるのは役立つかもしれませんが、指定された正確な単語またはフレーズのみを検索する方が役立つ場合もあります。ユーザーがクエリモードをファジーマッチングと厳密マッチングの間で変更できるようにすることで、関連する結果が表示される可能性が高まります。

結論

この記事では、全文検索とは何かについて述べ、その背後にあるいくつかの核となる概念を紹介しました。全文検索と従来のデータベースクエリの違いについて議論し、このコンテキストでインデックスがなぜ極めて重要であるかを説明し、検索インデックスを設計する際に考慮する必要があるいくつかの要素について説明しました。

全文検索は、多くのニュアンス、最適化、バランスの考慮事項、実装を含む、信じられないほど広範なトピックです。この記事は決定的なリソースとなることを意図したものではありませんが、学習を続ける上で強固な概念的基盤となることを願っています。