ノイズ対比推定の概要

ノイズ対比推定 (NCE) は、統計モデル パラメーターを推定する方法です。
基本的な考え方は、非線形ロジスティック回帰を使用して観測データと人工的に生成されたノイズ データを区別し、区別する際の統計モデルのパラメータを学習することです。
著者らは、この方法の推定量が一貫した (収束した) 推定量であることを示し、漸近分散を分析しています。
特に、この方法は、非正規化モデル、つまり確率密度関数の積分が 1 ではないモデルのパラメータ推定に直接使用できます。正規化定数は、他のパラメータと同様に推定できます。

NCE推定器

X = ( x 1 , … , x T ) X=(\mathbf{x}_1, \ldots, \mathbf{x}_T) を使用します。$バツ=({\times }_{}、\dots 、{バツ}_{})$は観測データを表すため、分布pm ( ⋅ ; θ ) p_m(\cdot; \theta) を使用します。$p_{}(\cdot ;\theta )$不変式$Y=(y_{}、\dots 、y_{})$は、分布$p_{}(\cdot )$。推定量${\widehat{私}}_{}$は、以下の目的関数のθ \theta を最大化するものとして定義されます$\theta$：
$$J_{}\left(私\right)=\frac{}{2T\_\_}\underset{t}{}\ln \left[h\right(x_{};私）]+\ln [1-h(y_{};私）]\text{\hspace{1em}( 1 )}$$インデックス
$$\begin{gathered} h(u;私）=\frac{}{1+\exp [-G(u;私）]} \\ G(u;私）=\ln p_{}(u;私）-\ln p_{}(u) \end{gathered}$$
ロジスティック回帰$r\left(x\right)=\frac{}{1+exp(-x)}$、$h(u;私）=r(G(u;\theta ))$。
式 (1) は、データを X またはノイズ Y から区別するロジスティック回帰の対数尤度です。
NCEの考え方は、データとノイズを区別することでデータの分布を学習できるというものです。

著者は推定量${\widehat{私}}_{}$一貫性：

教師あり学習との関係

u ∈ X , C = 1 \mathbf u \in X,C=1 と仮定して、2 分類問題を考えます。$あなた\in \times 、C=1$和$あなた\in やあ、C=0$の場合、確率条件は$$\begin{gathered} P(u|C=1;私）=p_{}(u;私） \\ P(u|C=0)=p_{}\left(u\right) \end{gathered}$$サンプルが 2 つの分布から得られる確率は同じです。つまり、$P(C=1)=P(C=0)=\frac{}{2}$の場合、確率は
$$\begin{gathered} P(C=1|u;私）=\frac{P(u,C=1;私}{P\left(u\right)}=\frac{P(u|C=1;\theta \left)P\right(C=1}{P(u|C=1;\theta \left)P\right(C=1)+P(u|C=0)P(C=0)}=\frac{p_{}(u;私}{p_{}(u;私）+p_{}(u)} \\ =h(u;\theta ) \end{gathered}$$$$P(C=0|u;私）=1-P(C=1|u;私）=1-h(u;私）$$

ノイズ分布の選択

ノイズ分布はデータ分布にできるだけ似ている必要があります。そうでないと、分類問題が単純すぎて、アルゴリズムが実際のデータ分布に準拠するパラメータを学習できなくなります。
まず、データ分布に適合する基本モデルを学習し、次にこの基本モデルをノイズ分布として使用できます。

参考

AISTATS 2010《ノイズ対比推定：非正規化統計モデルの新しい推定原理》