机器学习复习笔记3 （第三章线性模型）

3.1 基本形式

$f\left ( x \right )=w^{T}x+b$

其中 $x=\left (x_{1};x_{2};\cdots ;x_{d} \right )$ 是由属性描述的示例，其中 $x_{i}$ 是 $x$ 在第i个属性上的取值，而 $w=\left ( w_{1};w_{2};...;w_{d} \right )$ 是每个属性对应的权重。其具有非常好的可解释性。

需要能够在多种模型中，辨析出线性模型。

3.2 线性回归

线性回归的目的：试图学得一个线性模型以尽可能准确地预测实际输出标记。

单个参量使用最小二乘法进行线性回归：

$w=\frac{\sum_{i-i}^{m}y_{i}\left ( x_{i}-\bar{x} \right )}{\sum_{i=1}^{m}x_{i}^{2}-\frac{1}{m}\left (\sum_{i=1}^{m}x_{i} \right )^{2}}$ 由此公式计算出w
$b=\frac{1}{m}\sum_{i=1}^{m}\left ( y_{i}-wx_{i} \right )$ 再由上式得处的w计算出b
其中 $\bar{x}$ 是x的均值

3.3 对数几率回归

对数几率函数模式： $\small y=\frac{1}{1+e^{-z}}$

将线性回归式子带入得： $\small y=\frac{1}{1+e^{-\left ( w^{T}x+b \right )}}$

将预测值代入，可得对数几率函数：

其中y可视为样本x取得正例的可能性，1-y为取得反例的可能性，两者的比值y/（1-y)称为几率。对数几率回归也称为逻辑回归，是一种分类学习方法。

对数几率回归有以下三点优点：

无需事先假设数据分布
可得到“类别”的近似概率预测
可直接应用现有数值优化算法求解最优解

极大似然法：

已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆把这个参数作为估计的真实值。

举个从袋中摸白球和黑球的例子：

一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：
P(黑=8)=p^8*（1-p）^2,现在我想要得出p是多少啊，很简单，使得P(黑=8)最大的p就是我要求的结果，接下来求导的的过程就是求极值的过程啦。
在求极值之前，可以先把等式两边做ln运算，因为ln把乘法变成加法了，且不会改变极值的位置（单调性保持一致嘛）这样求导会方便很多~