目录
监督学习中的线性模型
线性单元
线性单元示意图：
对于Net input function，其求和公式模型可以表示为：
即为线性模型，输出是输入特征
的线性组合。
图中的Activation function是，也可以换成sigmoid函数等其他的激活函数。
线性单元的目标函数
对于监督学习，我们能够知道一个样本的特征，以及标记
。同时，我们还可以根据模型
计算得到输出
。现，用
表示训练样本里面的标记，也就是实际值；用带上划线的
表示模型计算的出来的预测值。当然，两者的值越接近越好。
最经典的，用误差的平方的二分之一来表示两者的接近程度：
上式表示的是单个样本的误差，对于n个样本，可以用所有样本的误差平方的和来表示目标函数（损失函数）：
其中：
对于特定的样本数据集，的值都是已知的，所以目标函数是参数
的函数：
梯度下降法
梯度：在高等数学中定义为一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。所以，当朝着梯度的反方向来修改自变量，则目标函数向局部最小值逼近。
当目标函数为凸函数（局部最优即为全局最优）时，梯度下降法的解是全局最优解。
但一般情况下，不保证是全局最优解，下降速度也未必最快。
优化思想：用当前位置的负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向。
梯度为目标函数
关于各个自变量的偏导数：
根据求导链式法则，可以得到：
缺点：
- 靠近极小值时收敛速度减慢；
- 直线搜索时可能产生一些问题；
- 可能会走之字型下降