过拟合与欠拟合

欠拟合：模型不能很好地适应训练集

过拟合：模型可以很好地适应训练集，但对于新输入的数据预测结果并不好

非参数学习算法（non-parametic learning algorithm）

又称局部加权回归（locally weighted regression）,更加注重对临近点的精确拟合。

loss function： $min \sum\omega ^{\left ( i \right )}\left ( y^{i}-\theta ^{T}x^{\left ( i \right )} \right )^{2}$ ，其中 $\omega ^{\left ( i\right )}=exp\left ( -\frac{\left ( x^{\left ( i \right )}-x \right )^{2}}{2} \right )$

当数据集很大时，计算的代价很高

逻辑回归（logistic regression）

个人感觉是由于线性回归的结果范围太大，在一直y取值在[0,1]之间时，利用sigmoid函数将结果映射到0-1之间。

logistic function: $g\left ( z \right )=\frac{1}{1+e^{-z}}$

$g\left ( \theta ^{T} x\right )=\frac{1}{1+e^{-\theta ^{T}x}}$

假设： $P\left ( y=1|x;\theta \right )=h_\theta \left ( x \right )$ ;   $P\left ( y=0|x;\theta \right )=1-h_\theta \left ( x \right )$

    $\Rightarrow P\left ( y|x;\theta \right )=\left ( h_\theta \left ( x \right ) \right )^{y}\left ( 1-h_\theta \left ( x \right ) \right )^{1-y}$

通过最大化theta的似然函数求最优解：

$L\left ( \theta \right )=P\left ( y|x;\theta \right )=\coprod P\left ( y^{\left ( i \right )}|x^{\left ( i \right )} ;\theta \right )$

对数似然函数更容易处理：

$max\left ( l\left ( \theta \right )\right)=log\left ( L\left ( \theta \right ) \right )=\sum y^{\left ( i \right )}logh_\theta \left ( x^{\left ( i \right )} \right )+\left ( 1-y^{\left ( i \right )} \right )log\left ( 1-h_\theta \left ( x^{i} \right ) \right )$

通过梯度下降求最优解:

$\theta :=\theta +\bigtriangledown _\theta \left ( l\left ( \theta \right ) \right )$ ;   $\frac{\partial }{\partial \theta _i}l\left ( \theta \right )=\sum_{1}^{m}\left ( y^{\left ( i \right )}-h_\theta \left ( x^{\left ( i \right )} \right ) \right )x_j^{\left ( i \right )}$

$\Rightarrow \theta _j:=\theta _j+\alpha \sum_{1}^{m}\left ( y^{\left ( i \right )}-h_\theta \left ( x^{\left ( i \right )} \right ) \right )x_j^{\left ( i \right )}$

感知器（Percepton）

感知器阶跃函数，形式为：

$g\left ( z \right )=\left\{\begin{matrix} 1, z>=0\\ 0,otherwise \end{matrix}\right.$

$\Rightarrow h_\theta \left ( x \right )=g\left ( \theta ^{T} x\right ) \Rightarrow \theta _j:=\theta _j+H\left ( \theta ^{T}x \right )x_j$

吴恩达——机器学习2

过拟合与欠拟合

非参数学习算法（non-parametic learning algorithm）

逻辑回归（logistic regression）

感知器（Percepton）

猜你喜欢