クエリとドキュメント テキストの相関計算の概要

1 はじめに

情報検索システムは、ユーザーのニーズに最も適したアイテムを検索する、つまり検索するクエリが与えられたものとして抽象化できます。対応する確率$P(D_{}|Q)$最大のドキュメント$D_{}$. ベイズの式によると、展開は次のようになります:
$$argmaxP(D_{}|Q)$$
$$=argmax\frac{P(Q|D_{}\left)P\right(D_{}}{P\left(Q\right)}$$
$$=argmaxP(Q|D_{}\left)P\right(D_{})$$
其中$P\left(D_{}\right)$はテキスト$D_{}$たとえば、電子商取引のシナリオでは、アイテムの売上、評価の品質などに対応して、$P(Q|D_{})$は項目$D_{}$ユーザー検索クエリ$Q$の程度。次に、いくつかの一般的な統計手法を要約して、クエリ$Q$とアイテム$D_{}$関連性スコア。

2 テキスト相関技術

2.1 TFIDF

情報検索システムでは、用語頻度-逆ドキュメント頻度 (略称: TFIDF ) は、テキスト内の用語の重要性を計算するために使用される一般的な統計手法です。. tfidf は、情報検索、テキスト マイニング、およびその他のアプリケーションでよく使用されます。クエリ$q$とテキスト$d$の TFIDF 相関計算式は
$$TF\text{-}IDF(q,d)=\sum _{t=1}tf(t_{}、d)\ast idf(t_{}、D)$$
その中$tf(t_{}、d)$期間を表す$t_{}$テキスト$d$の単語頻度$idf(t_{}、D)$用語$t_{}$テキストセット全体で$|D\; ||$の反転テキスト頻度すべてのクエリの$t_{}$テキスト内の tfidf スコアの合計。どこで$tf(t_{}、d)$計算方法もいろいろありますが、ウィキペディアを参考にまとめた計算方法は以下の通りです。

因$idf(t,d)$計算方法は、主に次のとおりです。

2.2 BM25

情報検索システムでは、BM25 は、検索エンジンでクエリとテキストの関連性を評価するための比較的一般的なランキング アルゴリズムです。. BM25 のフルネームは Okapi BM25 と呼ばれます。Okapi は情報検索システムであり、BM25 アルゴリズムが最初に適用された検索システムでもあるため、Okapi BM25 と名付けられました。以下は、クエリqqの BM25 アルゴリズムです。$q$とテキスト$d$の相关性分值计算:
$$BM25(D,Q)=\sum _{私は=1}IDF（t\_\_{}_{})\cdot \frac{f(t_{}、エ）\cdot (k_{}+1}{f(t_{}、エ）+k_{}(1-b+b\cdot \frac{|D}{そしてgdl\_})}$$
其中$f(t_{}、D)$は用語$t_{}$テキストDD内$D$における用語頻度 tf$|D|\; は$テキスト$D\; の$語長。Avgdl は、すべてのテキスト コレクションのテキストの平均の長さを表します。$k_{}$と$b$はハイパーパラメータで、通常は$k_{}\epsilon [1.2、2.0]$，$b=0.75$。$IDF（t\_\_{}_{})$は反転テキスト頻度で、通常次のように計算されます:
$$IDF（t\_\_{}_{})=\text{(}\_\frac{N-n\left(t_{}\right)+0.}{n\left(t_{}\right)+0.5}+1)$$
ここで、$N\; は$テキストの総数を表し、$n\left(t_{}\right)$は用語$t_{}$テキストの数。

2.3KL

論文: Document Language Models, Query Models, and Risk Minimization for Information Retrieval は、主にベイジアン決定理論の統計的確率モデルに基づいて、クエリとドキュメントの相関関係を計算します. 具体的な詳細については、論文を詳しく読むことができます. KL の使い方について話す クエリとドキュメントの相関関係を測定します。KL メジャー クエリとドキュメントの計算式は次のとおりです
$$KL(Q,エ）=\underset{w}{}p(w|Q)ログ\_\frac{p(w|Q}{p(w|D)}$$
ここで$p(w|Q)$はクエリ$Q$中词$w$の確率値。この値は、言語モデルまたはその他の方法で計算できます。同様に、$p(w|D)$は単語$w$ in text$D$の確率スコア、クエリの単語確率分布がドキュメントの単語確率分布に近い場合、KL スコアは小さくなり、クエリがドキュメントにより関連していることを示します。. 式をさらに変更すると、次のようになります:
$$KL(Q,エ）=\underset{w}{}p(w|Q)ログ\_\frac{p(w|Q}{p(w|D)}$$
$$=-\underset{w}{}p(w|Q)ログ\_p(w|D)+\underset{w}{}p(w|Q)ログ\_p(w|Q)$$
$$=CE(Q,エ）-CE(Q,Q)=CE(Q,エ）-c$$
から上記の式からわかるように、2 つの分布の KL 測定値は、2 つの分布のクロス エントロピーに定数値を加えたものに相当します。。

2.4 タームウェイト

Term Weighting Approaches in Automatic Text Retrieval では、この論文は用語の重みに基づくクエリとドキュメントの相関スコアの計算を提供します。計算式は次のとおりです。
$$\text{類似度}(Q,エ）=\frac{{\sum }_{k=1}^{}{w}_{qk}\cdot w_{dk}}{\sqrt{{\sum }_{k=1}^{}{\left(w_{qk}\right)}^2\cdot {\sum }_{k=1}^{}{\left(w_{dk}\right)}^2}}$$
ここで$w_{qk}$単語$w_{}$クエリ内の単語の重みと$w_{dk}$単語$w_{}$文書内の単語の重み、上記の式はクエリ内の単語によって形成される単語重みベクトルと、ドキュメント内の単語によって形成される単語重みベクトルの余弦値を計算します。。

2.5 近接性

論文An Exploration of Proximity Measures in Information Retrievalで提案されているアイデアは次のとおりです。ドキュメント内でヒットしたクエリの用語間の距離は、2 つの間の相関関係の計算に影響を与えます。、たとえばユーザー検索用語: "検索エンジン" の場合、呼び出されるテキストには次の 2 つがあります:
文書 1: "... 検索エンジン ..."
文書 2: "... 検索 ... エンジン ..."
直感的には、ドキュメント 1 はドキュメント 2 よりも関連性がありますが、TF-IDF などのアルゴリズムに基づいて、そのような用語間の距離を区別することはできません。したがって、距離尺度を BM25 およびその他の計算テキスト関連性スキームに統合することにより、近接性に基づく検索式が得られます。
$$R_{}(Q、エ）=KL(Q,エ）+\pi (Q,D)$$
$$R_{}(Q、エ）=BM25(Q,エ）+\pi (Q,D)$$
ここで$\pi (Q,D)$は距離計算スコアを表し、次のようなテキストを想定しています:
$$d=t_{}、t_{}、t_{}、t_{}、t_{}、t_{}、t_{}、t_{}、t_{}$$
検索クエリは$\{t_{}、t_{}\}$の場合、距離スコアの計算には次のカテゴリがあります。

• Span : Span は、ドキュメント内のクエリをカバーできるすべての用語の最小距離を示し、繰り返されるすべての用語を含める必要があります。、上記の例では、クエリはテキスト$d$のスパン値は
• MinCover: テキスト内で少なくとも 1 回クエリに含まれる各用語の最短の長さを示します. 上記の例では、MinCover の値は 2 です
• MinDist: ドキュメント内のすべてのクエリ用語ペア間の最小距離を示します、クエリQ = t 1 , t 2 , t 3 Q={t_1, t_2, t_3}など$Q=t_{}、t_{}、t_{}$、テキスト内の$d$の MinDist 距離は 1 です
• AveDist: すべてのペアの平均距離を示します，比如$Q=t_{}、t_{}、t_{}$日で$d$の平均距離
• MaxDist: すべてのペアの最大距離を示します
  距離はさまざまな基準で計算できます.距離を取得した後、距離測定スコア$\pi (Q,D)$は次のように計算できます:
  $$\pi (Q,エ）=\mathrm{ログ}(a+exp(-\varphi (Q,D\left)\right))$$
  ここで$-\varphi (Q,D)$対応する距離は、上記のようなさまざまな測定式によって計算できます。

2.6 位置言語モデル

情報検索のための位置言語モデルという論文の主なアイデアは、文書内に広がる単語の数を計算して、場所に基づく言語モデルを構築します。これにより、場所の距離の特徴を捉えるだけでなく、「ソフトな」検索効果も達成できます。.
論文で与えられた位置ベースの言語モデル PLM の計算式は次のとおりです
$$p(w|D,私）=\frac{c^{{}^{」}}(w,私}{{\sum }_{w^{{}^{\text{'}}}\in }{c}^{{}^{』}}(w^{{}^{」}}、私）}$$
其中$c^{{}^{」}}(w,i)$単語$w$他のすべての位置から位置$i$の送信回数、計算式は次のとおりです
$$c^{{}^{」}}(w,私）=\sum _{j=1}c(w,j\left)k\right(i,j)$$
其中$c(w,i)$単語$w$はドキュメントiiww$の場合、\; i\; の$位置$w\; は$iiの位置にある$i$が表示された場合、値は 1 で、それ以外の場合は 0 です。そして$k(i,j)\; は$jj 番目の用語から開始することを意味します$j$位置iiまで$位置i$での伝播の数
上記のドキュメントの各単語の PLM スコアの計算により、KL 検索モデルを使用して、クエリとドキュメントの間の相関を測定できます。 S ( Q , D , i ) = − ∑ w ∈ V p (
$$S(Q,D、私）=-\underset{w\in V}{}p(w|Q)ログ\_\frac{p(w|Q}{p(w|D,私）}$$
ここで$p(w|Q)$はクエリの言語モデルであり、このスコアの測定には、最尤推定言語モデルなどの既存のものを使用できます。そして PLM モデル$k(i,j)$測定方法、次の方法が論文に記載されています。

• Gaussian Kernel: ガウス カーネル関数、計算式は次のとおりです。
  $$k(i,j)=e\times p\left[\frac{-(私は-j{)}^{}}{2p{\_}^2}\right]$$
• Triangle Kernel: 三角カーネル関数，计計算如下：
  $$k(i,j)=\{\begin{array}{l}1-\frac{|i-j}{p}私は|私-j|\le 0\\ 0\end{array}$$
• コサイン (ハミング) カーネル: コサイン カーネル関数次のように定義します:
  $$k(i,j)=\{\begin{array}{l}\frac{}{2}[1+cos(\frac{|i-j|\cdot }{p}\left)\right]if|i-j|\le p\\ 0\end{array}$$
• サークル カーネル: 循環カーネル関数，计算公式如下：
  $$k(i,j)=\{\begin{array}{l}\sqrt{1-(\frac{|i-j}{p}{)}^2}if|i-j|\le p\\ 00\end{array}$$
• Passage Kernel: 論文が採用しているアーティクルカーネル機能k ( i , j ) = { 1 if ∣ i − j ∣ ≤ σ 0 でなければ k(i, j) = \
  $$k(i,j)=\{\begin{array}{l}1if|i-j|\le p\\ 0\end{array}$$

3 まとめ

上記の方法は、主に統計モデルに基づいています。クエリとドキュメント内の各単語の重みまたは確率分布を計算することにより、クエリとドキュメント間の相関関係が KL、コサイン コサインなどに基づいて計算され、単語の重みまたは確率は、単語の頻度に基づいて反転されます。テキストの頻度、距離、言語モデル、その他の計算方法。