Glow introduce

X X X是一个真实但分布未知的高维随机向量,记为 X ∼ p ∗ ( X ) X\sim p^∗(X) Xp(X)。我们收集了独立同分布的数据集 D D D,我们选择带有参数 θ θ θ的模型 p θ ( X ) p_θ (X) pθ(X),假设数据 X X X是离散的,则log-likehood(log似然)的目的等效于最小化下面的公示:
L ( D ) = 1 N ∑ i = 1 N ( − l o g p θ ( X ( i ) ) ) L(D)=\frac{1}{N}\sum_{i=1}^{N}(-logp_\theta(X^{(i)})) L(D)=N1i=1N(logpθ(X(i)))

大多数的基于流的生成模型,其过程可以定义为:
z ∼ p θ ( z ) z\sim p_θ(z) zpθ(z)
x = g θ ( z ) x=g_θ (z) x=gθ(z)
z z z是潜在变量, p θ ( z ) p_θ (z) pθ(z)是一个简单的概率密度,比如球形高斯: p θ ( z ) = N ( z ; 0 , I ) p_θ (z)=N(z;0,I) pθ(z)=N(z;0,I)

函数 g θ g_θ gθ是可逆的,也叫双射,给一个数据 x x x,潜变量可以通过 z = f θ ( x ) = g θ − 1 ( x ) z=f_θ (x)=g_θ^{−1} (x) z=fθ(x)=gθ1(x)

为了简便,下面我们将省略下标 θ θ θ

我们假设函数 f f f由一系列的转换组成: f = f 1 ∘ f 2 ∘ ⋅ ⋅ ⋅ ∘ f n f=f_1 \circ f_2 \circ ··· \circ f_n f=f1f2⋅⋅⋅fn,如此 x x x z z z的关系可以描述为:
在这里插入图片描述

这样一个可逆变换的序列也可以被称为(正则化)流,

猜你喜欢

转载自blog.csdn.net/qq_40243750/article/details/129451178