机器学习入门 _概率论

最大似然估计：

一个在已知观察结果（即样本）和给定概率分布模型的基础上，估计概率分布模型的参数，并使得在该参数下，生成这个已知样本的可能性最大的方法。（条件：样本+概率分布模型，结果：最可能接近已知样本）

简单描述：最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大。

求解步骤：

step1：根据设定概率模型，写出联合概率形式的似然函数
step2：对似然函数取对数，并整理
step3：求导数或偏导数，并赋值为0
step4：求解方程

伯努利分布：

$f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}$ （要么有 $x_{i}=1$ ，要么没有 $x_{i}=0$ ，就是二项分布）

逻辑回归：

为什么损失函数使用对数形式？根据极大似然估计的的概念演化过来的https://blog.csdn.net/saltriver/article/details/63683092

1）模型： $P(y = 1|x;\theta ) = \frac{1}{{1 + {e^{ - z}}}} = \frac{1}{{1 + {e^{ - ({\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + {\theta _3}{x_3} + {\theta _4}{x_4})}}}} = \frac {1} {1 + e^{ - \theta ^Tx}}$

2）损失函数： $\cos t(y,p(y|x)) = \left\{ \begin{array}{l} - \log p(y|x){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} y = 1\\ - \log (1 - p(y|x)){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} y = 0 \end{array} \right.$

机器学习入门 _概率论

猜你喜欢