WEEK3
分类（Classification）：
这里面指的分类是二值分类，然后我们使用到的分类器为非线性分类器，第一个讲到的就是之前提到的逻辑回归。
逻辑回归（Logistic Regression）：
首先是sigmoid function，同时也叫做logistic regression，这是本算法的核心公式，在这里，预测值大于0.5的，将会被看做1，小于 0.5的，被看做0. 逻辑回归就用这种方式做二值分类的预测。
这里，我们指的预测值，就是h(x), 函数z是线性方程，函数g 是逻辑回归方程。
决策边界（decision boundary）：
决策边界决定了分类器对于数据分类的标准，如上文所示，在预测值大于0.5时分类为1. 那么这里y=0.5就是一个决策边界。决策边界的设定对于分类结果有很大的影响，来源于假设函数（hypothesis function）。
损失函数（cost function）：
在结束预测后，需要计算损失函数，来调整theta。那么损失函数的计算如图所示。
下一步就是梯度下降，更新theta的过程了。通过计算损失函数的导数，来确定每次调整theta的程度。
注意，在学习过程中，这里选择了梯度下降作为学习方法，但是作者声明，“共轭梯度”，“BFGS”和“L-BFGS”是更为复杂，更快捷的方法来优化θ，而不是梯度下降。 所以希望读者可以使用库函数多尝试几种方法来优化θ。
多分类问题（multi-class classification）：
这里使用了one vs rest 方法，简单来说就是当有k类数据时，共做k次分类，每次分成两类，一类为是Ci，一类为不是Ci。如下图所示。
过拟合问题（overfitting）：
图中三个曲线，第一个由于拟合的点不够充分，我们称之为欠拟合，第二个为正确的曲线，第三个由于曲线太过于复杂而且完全拟合到了所有点，我们称之为过拟合。第一和第三种情况都不能认为是好的模型，不过这里我们着重讲如何解决过拟合问题。
对于多项式方程，在发生过拟合时，第一种方法是适当的减少不必要的多项式，可以减轻过拟合的情况。第二种方法是使用正则化。使用正则化，将θ的值减小到接近与0。这样可以解决过拟合问题。
这里给出正则化的减小θ的公式。