计算机视觉-模型学习和推理笔记 第六章

《Computer Vision - Model Learning and Inference》笔记

第六章

计算机视觉的问题是根据视觉数据 $\mathbf{x}$ 推测现实状态 $\mathbf{w}$ 的过程

模型分为两种

• 根据视觉数据求现实状态概率分布 $Pr(\mathbf{w}|\mathbf{x})$ 的判别模型。

• 根据现实状态求视觉数据概率分布 $Pr(\mathbf{x}|\mathbf{w})$ 的生成模型。

示例1：假设$w$和$x$是连续的标量

判别模型：

我们设正态分布函数 $Pr(w|x,\mathbf{\theta })=Nor{m}_w[\mu ,{\sigma }^2]$。其中，参数 $\mu$ 为均值， ${\sigma }^2$ 为方差。它们决定了函数的形状，代入自变量$w$即可求得$w$处的概率密度。

若假定均值$\mu$和$x$成线性关系$\mu ={\varphi }_0+{\varphi }_{1}x$，则$Pr(w|x,\mathbf{\theta })=Nor{m}_w[{\varphi }_0+{\varphi }_{1}x,{\sigma }^2]$，这种方法称为线性回归。那么模型的参数集 θ = { ϕ 0 , ϕ 1 , σ 2 } \bm{\theta}=\{\phi_0,\phi_1,\sigma^2\} θ={ ϕ0​,ϕ1​,σ2}，学习算法的任务就是利用数据集 { x i , w i } i = 1 I \{x_i,w_i\}^I_{i=1} { xi​,wi​}i=1I​进行拟合，求 $\mathbf{\theta }$ 。求好之后推理算法的任务很简单，就是把新数据 $x$ 代入，求得 $w$ 的概率分布。

判别模型的图像，颜色深度代表$Pr(w|x)$的大小

生成模型：

生成模型正好相反，若仍采用正态分布+线性回归，则设 $Pr(x|w,\mathbf{\theta })=Nor{m}_x[{\varphi }_0+{\varphi }_{1}w,{\sigma }^2]$ 。同理用数据拟合求得 θ = { ϕ 0 , ϕ 1 , σ 2 } \bm{\theta}=\{\phi_0,\phi_1,\sigma^2\} θ={ ϕ0​,ϕ1​,σ2}。

扫描二维码关注公众号，回复： 12172032 查看本文章

假设 $w$ 也满足正态分布，$Pr(w)=Nor{m}_w[{\mu }_p,{\sigma }_p^2]$，用数据 { w i } i = 1 I \{w_i\}^I_{i=1} { wi​}i=1I​求出 θ p = { μ p , σ p 2 } \bm{\theta_p}=\{\mu_p,\sigma_p^2\} θp​={ μp​,σp2​}。

求好后，推理算法用贝叶斯定理求新数据 $x$ 对应 $w$ 的概率分布：
$$Pr(w|x)=\frac{Pr(x|w)Pr(w)}{Pr(x)}$$

示例2：假设$x$是连续标量，$w$是离散标量

判别模型：

因为 $w$ 只能取0或1，我们可以使用伯努利分布。它的唯一参数$\lambda$表示$w$取1的概率。$Pr(w=1)=\lambda$。

同示例1，我们设$\lambda =f(x)$。由于概率$\lambda \in [0,1]$，我们先把x输入线性函数（结果属于R），再把结果给到sigmoid函数（结果在0和1之间）：
$$\lambda =Ber{n}_w[sig[{\varphi }_0+{\varphi }_{1}x]]=Ber{n}_w[\frac{1}{1+exp[-{\varphi }_0-{\varphi }_{1}x]}]]$$
这个操作称为逻辑回归。

这个模型的参数集合 θ = { ϕ 0 , ϕ 1 } \bm{\theta}=\{\phi_0,\phi_1\} θ={ ϕ0​,ϕ1​}

生成模型：
不多解释。
$$Pr(w|,\mathbf{\theta })=Nor{m}_x[{\mu }_w,{\sigma }_w^2]$$
由于$w$只有2个值，可以直接写成：
$$Pr(w=0|,\mathbf{\theta })=Nor{m}_x[{\mu }_0,{\sigma }_0^2]$$
$$Pr(w=1|,\mathbf{\theta })=Nor{m}_x[{\mu }_1,{\sigma }_1^2]$$
先验概率：
$$Pr(w)=Ber{n}_w[{\lambda }_p]$$
学习算法计算参数集合：
θ = { μ 0 , σ 0 , μ 1 , σ 1 , λ p } \bm{\theta}=\{\mu_0,\sigma_0,\mu_1,\sigma_1,\lambda_p\} θ={ μ0​,σ0​,μ1​,σ1​,λp​}
推理算法用贝叶斯：
$$Pr(w|x)=\frac{Pr(x|w)Pr(w)}{{\Sigma }_{w=0}^{1}Pr(x|w)Pr(w)}$$