Point Mutual Information PMI - 2 つの変数間の相関を測定します
序章
自然言語処理では、2 つの単語の間に特定の関係があるかどうかを調べたいと考えています。たとえば、いくつかの単語は一緒に現れる可能性が高く、これらの単語が一緒に現れると何らかの情報を運ぶ可能性があります。
たとえば、ニュース レポートでは、New と York がある場合、これら 2 つの単語が一緒に表示され、地名 New York を表すことができます。そのため、New という単語が表示されると、York が表示される可能性があり、これは Pointwise Mutual Information (PMI) によって決定できます。 ) NewとYorkが一緒に出現する相関を計算せよ。
1. PMIの基本的な考え方
Pointwise Mutual Information (PMI):データ マイニングや情報検索の関連データでは、PMI (Pointwise Mutual Information) の指標は、2 つの間の相関関係を測定するためによく使用され