ポイントワイズ相互情報
（ヤオ、ら2019）の明確な記述再生ポイントごとの相互情報量を以下のように：
\ [PMI（I、J）= \ログ\ FRAC {P（i、j）は} {P（I）P（j）は} \\ P（i、j）は= \ FRAC {\＃（i、j）は} {\＃1 W} \\ P（I）= FRAC \ {\＃（I）} {\＃1 W} \] \（\＃（I）\）単語を含むコーパスの帽子のウィンドウをスライディングの数です\（私は\）
どこ\（\＃（i、j）は\）の両方の単語が含まれているウィンドウをスライディングの数です\（私は\）と\（jは\）
ここで、\（\＃W \）は、コーパスのウィンドウをスライドの総数です。
（レビーら、2014）に簡略化PMIとして、以下の式：
\ [PMI（I、J）= \ログ\ FRAC {\＃（i、j）は、\＃1 W} {\＃（I）\＃（J）} \]
明らかに、\（\＃W \）は、我々は、スライドウィンドウサイズとコーパスを固定した場合に、それゆえ我々は、さらに以下のような式を簡略化することができる定数である：
\ [PMI（I、J）= \ログ\ FRAC {\＃（I、 J）} {\＃（I）\＃（J）} \]
リファレンス
梁八尾ら、テキスト分類のための2019のグラフ畳み込みネットワーク。AAAI
Omerのレビーら、暗黙行列因子分解として2014年NeuralWord埋め込み。NIPS