逻辑回归
对于一个二分类（binary classification）问题，\(y \in \left\{0, 1\right\}\)，如果直接用线性回归去预测，结果显然是非常不准确的，所以我们采用一种新的假设函数：
\[ h_{\theta}(x) = g(\theta^{T}x) = \frac{1}{1 + e^{-\theta^{T}x}} \]
其中
\[ g(z) = \frac{1}{1 + e^{-z}} \]
被称为sigmoid函数，这个函数的的值域是\((0, 1)\)，且在定义域上单调递增，当\(z \rightarrow +\infty\)时，\(g(z) \rightarrow 1\)，当\(z \rightarrow -\infty\)时，\(g(z) \rightarrow 0\)，将其当作概率值似乎是个不错的选择；至于究竟为什么选择sigmoid函数，以后会有解释。
sigmoid函数求导很容易，而且关于导数，它有一个很不错的性质：
\[ \begin{align*} g'(z) &= -\frac{1}{(1 + e^{-z})^{2}} \cdot-e^{-z}\\ &=\frac{1}{1 + e^{-z}} \cdot \left(1 - \frac{1}{1 + e^{-z}}\right)\\ &= g(z)(1-g(z)) \end{align*} \]
我们在求优化目标函数时，会用到这一性质。
优化目标函数及其梯度
和线性回归一样，我们给出几个概率假设，希望在给定的概率假设下，利用最大似然求出代价函数。
假设\(y|x;\theta \sim Bernoulli(h_{\theta}(x))\)，则：
\[ P(y|x;\theta) = (h_{\theta}(x))^{y}(1-h_{\theta}(x))^{1-y} \]
因为我们处理的是二分类问题，所以这是一个很合理的假设。我们再次假设所有的训练样本是独立的，则似然函数值是：
\[ \begin{align*} L(\theta) &= \prod_{i=1}^{m}P(y^{(i)}|x^{(i)};\theta)\\ &= \prod_{i=1}^{m}(h_{\theta}(x^{(i)}))^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}} \end{align*} \]
对数似然函数是：
\[ \begin{align*} l(\theta) &= \log L(\theta)\\ &= \log \prod_{i=1}^{m}(h_{\theta}(x^{(i)}))^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}\\ &= \sum_{i=1}^{m}y^{(i)}\log h_{\theta}(x^{(i)}) + (1-y^{(i)})\log (1-h_{\theta}(x^{(i)}))\\ \end{align*} \]
这也就是我们的优化目标函数，我们希望找到使\(l(\theta)\)最大的\(\theta\)，这里同样可以用梯度下降法。引入梯度的概念：假设\(\theta \in \mathbb{R}^{n+1}\)，\(l: \mathbb{R}^{n+1} \rightarrow \mathbb{R}\)，则\(\nabla l(\theta) \in \mathbb{R}^{n+1}\)，其中\(\left(\nabla l(\theta)\right)_j = \frac{\partial l(\theta)}{\partial \theta_{j}}\)。我们可以求出\(l(\theta)\)的梯度：
\[ \begin{align*} \nabla l(\theta) &= \sum_{i=1}^{m}y^{(i)}\frac{g(\theta^{T}x^{(i)})(1-g(\theta^{T}x^{(i)}))}{g(\theta^{T}x^{(i)})}x^{(i)} +(1-y^{(i)})\frac{-g(\theta^{T}x^{(i)})(1-g(\theta^{T}x^{(i)}))}{1-g(\theta^{T}x^{(i)})}x^{(i)}\\ &= \sum_{i=1}^{m}(y^{(i)}-h_{\theta}(x^{(i)}))x^{(i)}\\ \end{align*} \]
由于我们的目的是最大化\(l(\theta)\)，所以我们的迭代公式是：
\[ \theta_j := \theta_j + \alpha \sum_{i=1}^{m}(y^{(i)}-h_{\theta}(x^{(i)}))x^{(i)}_{j} = \theta_j - \alpha \sum_{i=1}^{m}(h_{\theta}(x^{(i)}) - y^{(i)})x^{(i)}_j \]
这与LMS算法中的迭代公式在形式上是一样的，只是\(h_{\theta}(x)\)的定义有差异。
用牛顿法求\(l(\theta)\)的最大值点
给定一个函数\(f(\theta)\)，牛顿法可以用来求函数的零点（这里的\(\theta\)是标量）：
\[ \theta := \theta - \frac{f(\theta)}{f'(\theta)} \]
利用上式进行迭代，可以很快地接近\(f(\theta)\)的零点。
如果是求最值点呢？没错，最值点对应着一阶导数的零点，所以，为了求\(l(\theta)\)的最大值点，我们只需令\(f(\theta) = l'(\theta)\)，那么更新迭代公式变为：
\[ \theta := \theta - \frac{l'(\theta)}{l''(\theta)} \]
利用上式迭代，我们可以很快地接近\(l(\theta)\)的最大值点。在很多情况下，\(\theta\)是一个向量，此时更新迭代公式为：
\[ \theta := \theta - H^{-1}\nabla l(\theta) \]
其中，\(H\)是海森矩阵（Hessian matrix），定义为：
\[ H_{ij} = \frac{\partial^{2}l(\theta)}{\partial\theta_i \partial\theta_j} \]
可以看出，海森矩阵其实就是由\(l(\theta)\)对\(\theta\)各分量的二阶偏导数构成的矩阵。我们尝试计算一下\(l(\theta)\)的海森矩阵，上文已经得到：
\[ \frac{\partial}{\partial \theta_i}l(\theta) = \sum_{k=1}^{m} (y^{(k)} - h_{\theta}(x^{(k)}))x^{(k)}_i \]
所以：
\[ \begin{align*} H_{ij} &= \sum_{k=1}^{m}\frac{\partial}{\partial \theta_j}(-h_{\theta}(x^{(k)})x^{(k)}_i)\\ &= -\sum_{k=1}^{m}h_{\theta}(x^{(k)})(1-h_{\theta}(x^{(k)}))x^{(k)}_i x^{(k)}_j\\ H &= -\sum_{k=1}^{m}h_{\theta}(x^{(k)})(1-h_{\theta}(x^{(k)}))x^{(k)}(x^{(k)})^{T} \end{align*} \]