机器学习（四）

逻辑回归模型

其实质是分类问题
1、模型的选取：我们想要我们的输出在0到1之间，因此形式为：${h_\theta }(x) = g({\theta ^T}x)$，其中，$g(x) = \frac{1}{{1 + {e^{ - x}}}}$，即g(x)为sigmoid函数
2、决策边界：是对样本进行分类的边界，由假设函数的性质得到
3、代价函数的选取：要保证代价函数是线性的，以便其能最终收敛

进一步可以表示成：$\cos t({h_\theta }(x),y) = - y\log ({h_\theta }(x)) + (1 - y)\log (1 - {h_\theta }(x))$
4、多类别的分类问题：选定某一类样本为正，其余几类样本为负，训练一个分类器，最终可以得到多个分类器，再根据输入，选择一个最优的分类器，输出结果即可
5、拟合：在对数据进行选取假设函数的时候
1）欠拟合：即没有很好的拟合数据，与数据偏差过大2）过拟合：拟合数据太好，但函数过于复杂，变量太多且没有约束
解决过过拟合的方法：一是尽量减少变量的数量，二是正则化