统计学习方法——知识点（1）经验分布

版权声明：署名，允许他人基于本文进行创作，且必须基于与原先许可协议相同的许可协议分发本文 （Creative Commons）

名词理解：联合分布、边缘分布、经验分布

给定一个训练数据集 $T=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}$可以确定联合分布 $P(x,y)$的经验分布 $\tilde P(X,Y)$ $\tilde P(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$边缘分布 $P(X)$的经验分布 $\tilde P(X)$ $\tilde P(x)=\frac{v(X=x)}{N}$

摘自：李航《统计学习方法》

• 边缘分布：得到只关于一个变量的概率分布，而不再考虑另一变量的影响，实际上进行了降维操作。在实际应用中，例如人工神经网络的神经元互相关联，在计算它们各自的参数的时候，就会使用边缘分布计算得到某一特定神经元（变量）的值。
• 联合分布：多个变量联合概率分布。
• 经验分布：训练集频数与样本总和的比值。
• 书中使用 $\tilde P(x)$表示 $P(x)$经验值，通常使用 $\hat y$表示对y的估计值。

边缘概率密度和条件概率密度

二维连续性随机变量的联合概率密度函数为 $f(x,y)$： $\int^{\infty}_{-\infty}\int_{-\infty}^{\infty}f(x,y)dxdy=1$分布函数 $F(x,y)=\int^x_{-\infty}\int_{-\infty}^yf(u,v)dudv$边缘概率密度函数 $f_X(x)=\int_{- \infty}^{\infty}f(x,y)dy$条件概率密度 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
总结：边缘概率密度是完成对另一维度的积分，空间上有曲面变成曲线，降低了一个维度；条件概率密度与贝叶斯定理一致（联合概率/边缘概率）。