第三周（Logistic回归 + Regularization）-【机器学习-Coursera Machine Learning-吴恩达】

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/KevinBetterQ/article/details/79451812

目录：
    逻辑回归模型
    多类别分类

    正则化

1 逻辑回归模型

1）逻辑回归的假设函数：

利用Logistic函数，使输出范围控制在【0，1】之间

2）决策边界

由logistic函数的图像可以看出 当y=1时：

也就是说：

这样，就会形成一个判断输出为0还是1的边界（X为变量，与参数theta有关），称为决策边界。

3）代价函数

简化：

（在使用梯度下降时，用这个函数确认每一次迭代J(theta)都是减少的）

向量化：


4）梯度下降

通用式：

求导后：

向量化：

5）高级优化算法
例如："Conjugate gradient"、 "BFGS"、 "L-BFGS" 
原理很难，但可以利用一些已经实现的库函数

自己写相应代价函数：

调用库函数

2 多类别分类

一对多方法：

（对于每一个类别，都计算一个上述logistic假设函数 h ，表示属于此类别的概率

然后将测试值代入每一个函数，拥有最大值的即为所属类）

3 正则化——克服过度拟合

    过拟合就是模型过度的拟合了训练样本，形成的分界线一味迎合训练样本，使测试样本准确率降低。
    过度拟合解决办法：减少特征量 和 正则化
    假设函数过度拟合后，我们可以通过修改成本函数进行相应参数权重的弱化

代价函数正则化：

1）正则化线性回归

梯度下降法 求参数时：

正规方程法 求参数theta时：

2）正则化逻辑回归

——————————————————————————————————————————

Logistic Regression测试解答
http://blog.csdn.net/huazhenrea/article/details/52567041