1、梯度下降法
梯度下降法是机器学习常见的一中数学优化解决方法，常用于线性回归，logistic回归，支持向量机等算法中。要充分理解梯度下降法要有高等数学的知识。
2、图像理解
梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。
3、数学理解
以李航老师的《统计学习方法》中感知机一讲为例。
感知机是一种二分类模型，通过梯度下降搜索，寻找分开两类数据的超平面。
首先取一个初始超平面（w，b），然后用误分类的数据点对超平面进行移动，经过数次迭代之后，就可以得到正确的超平面。
4、例题
参考书籍：
《统计学习方法》--李航