一、凸优化

1.1 最优化理论与凸优化到底是干嘛的？

1、凸优化的定义
$~~~~~~$ 1.1 凸优化
$~~~~~~$ 1.2 全局最优化与局部最优化
2、 linear programming(线性规划)
3、最优化方法的一般结构
4、优化理论在机器学习，深度学习中扮演的角色

凸函数解释

最优化问题目前在机器学习，数据挖掘等领域应用非常广泛，因为机器学习简单来说，主要做的就是优化问题，先初始化一下权重参数，然后利用优化方法来优化这个权重，直到准确率不再是上升，迭代停止，那到底什么是最优化问题呢？
它的一般形式为：
$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$ 这里写图片描述
第一个为优化的目标，即最小化目标函数 $f(x)$ ,而带大于号或小于号的，则是约束条件。我们希望找到一个满足约束条件的 $x∗$ ,使得对于任意的 $z$ 满足约束条件：

f_{1} (z) \leq b_{1}, \dots, f_{m} (z) \leq b_{m}

$f_1(z)≤b_1,⋯,f_m(z)≤b_m$
有

f_{0} (z) \geq f_{0} (x *)

$f_0(z)≥f_0(x∗)$
而

x *

$x∗$ 就是我们所求的最后结果。下面举个例子：

$~~~~~~~~$ ● 相当于你要从上海去北京，你可以选择搭飞机，或者火车，动车，但只给你500块钱，要求你以最快的时间到达，其中到达的时间就是优化的目标，500块钱是限制条件，选择动车，火车，或者什么火车都是

x

$x$ 。

满足所有约束条件的点集称为可行域，记为 $X$ ，又可以写为：

m i n f (x) s . t x \in X

$min f(x)~~~~~~~~s.t x∈X$
，s.t表示受限于（subject to）。
在优化问题中，应用最广泛的是凸优化问题：

$~~~~~~~~$ ● 若可行域X是一个凸集（凸集的解释点击这里，1.2章节）：即对于任给的x,y∈Xx,y∈X,总有

λ x + (1 - λ) y \in X, 对 于 任 意 的 λ \in (0, 1)

$λx+(1−λ)y∈X,对于任意的 λ∈(0,1)$
并且目标函数是一个 凸函数：即

f (λ x + (1 - λ) y)) \leq λ f (x) + (1 - λ) f (y)

$f(λx+(1−λ)y))≤λf(x)+(1−λ)f(y)$
我们称这样的优化问题为凸优化问题。
这里写图片描述

函数上方的点集就是凸集，函数上任意两点的连线，仍然在函数图像上方。
一句话说清楚就是： 希望找到合适的 $x$ ，使得 $f_0(x)$ 最小。

1.2 全局最优化与局部最优化

全局最优化指的是在满足条件约束的情况下，找到唯一的一个点满足最大值或者最小值。
局部最优化指的是在满足条件约束的情况下，有可能找到一个局部最大/小点，但不是全局最大或者最小的点。
用图像表示为：
这里写图片描述

1.3、线性规划

另一类重要的优化问题是线性规划，它的目标函数和约束条件都是线性的：

m i n i m i z e c^{T} x

$minimize c^Tx$

s . t a_{i}^{T} x \leq b_{i}, i = 1, \dots, m

$s.t a_i^Tx≤b_i,i=1,⋯,m$

用画图的方法，就是根据条件，画出可行域，然后将目标函数在可行域上移动，直到得到最大值。
这里写图片描述

1.3、最优化方法的一般结构

最优化的过程，相当于爬山，如图：
这里写图片描述
$~~~~~~$ 希望找到一个点列xkxk使得他的函数值是一直减少的，直到到达某一停止条件或者达到最小值的点 $x_k$ 。

用数学上的术语可以表示为：

$~~~~~~$ 设 $x_k$ 为第k次迭代点， $d_k$ 为第k次搜索方向， $α_k$ 为第k次迭代的步长因子，则第k次迭代为： $x_{k+1}=x_k+α_kd_k$

$~~~~~~$ 从这里可以看到不同的步长和不同的搜索方向组成了不同的优化方法，这就是最优化理论中所讨论的。 $f$ 是 $x_k$ 的函数，搜索方向 $d_k$ 是 $f$ 在 $x_k$ 是f在 $x_k$ 处的下降方向，即 $d_k$ 满足：

\nabla f (x_{k})^{T} d_{k} < 0

$∇f(x_k)^Td_k<0$

而最优化的基本可以表示为：给定初始点xkxk
$~~~~~~~~$ 1、确定搜索方向 $d_k$ ，即按照一定规则画方法确定 $f$ 在 $x_k$ 处的下降方向
$~~~~~~~~$ 2、确定步长因子 $α_k$ ,使得目标函数有一定的下降
$~~~~~~~~$ 3、令 $x_{k+1}=x_k+α_kd_k$
不断迭代，直到 $x_{k+1}$ 满足某种某种停止条件，即得到最优解 $x_{k+1}$

最优化中的问题中，大部分都是在寻找各种各样的方法确定步长和方向，使得迭代的速度尽可能快，得到的解尽可能是最优的解。

二、梯度下降法，牛顿法，拟牛顿法和共轭梯度法

2.1、梯度下降法

$~~~~~~~~~$ 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示：

$~~~~~~~~~~~~~$ 这里写图片描述

梯度下降法的缺点：

　　（1）靠近极小值时收敛速度减慢，如下图所示；

　　（2）直线搜索时可能会产生一些问题；

　　（3）可能会“之字形”地下降。

这里写图片描述
从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利用梯度下降法求解需要很多次的迭代。

在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

2.1.1、批量梯度下降法（Batch Gradient Descent，BGD）

$~~~~~~~~~~~~~$ 比如对一个线性回归（Linear Logistics）模型，假设下面的h(x)是要拟合的函数，J(theta)为损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的样本个数，n是特征的个数。、

$~~~~~~~~~~~~~~~~~~~~~~~~$ 这里写图片描述

这里写图片描述

2.1.2、随机梯度下降法（Stochastic Gradient Descent，SGD）

（1）上面的风险函数可以写成如下这种形式，损失函数对应的是训练集中每个样本的粒度，而上面批量梯度下降对应的是所有的训练样本：
这里写图片描述
（2）每个样本的损失函数，对theta求偏导得到对应梯度，来更新theta：

（3）随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。
$~~~~~~~~~~~$ 随机梯度下降每次迭代只使用一个样本，迭代一次计算量为n2，当样本个数m很大的时候，随机梯度下降迭代一次的速度要远高于批量梯度下降方法。两者的关系可以这样理解：随机梯度下降方法以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远小于样本的数量。

对批量梯度下降法和随机梯度下降法的总结： ● 批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。 ● 随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向，但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。

2.2、牛顿法和拟牛顿法

2.2.1、牛顿法（Newton’s method）

$~~~~~~~~$ 牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程 $f (x) = 0$ 的根。牛顿法最大的特点就在于它的收敛速度很快。
具体步骤：
　　首先，选择一个接近函数 $f (x)$ 零点的 $x_0$ (起始位置)，计算相应的 $f (x_0)$ 和切线斜率 $f ' (x_0)$ （这里 $f '$ 表示函数 $f$ 的导数）。然后我们计算穿过点( $x_0, f (x_0)$ ) 并且斜率为 $f '(x_0)$ 的直线和 $x$ 轴的交点的x坐标，也就是求如下方程的解：
$~~~~~~~~~~~~~~~~~~~~$ 这里写图片描述
我们将新求得的点的 $x$ 坐标命名为 $x_1$ ，通常 $x_1$ 会比 $x_0$ 更接近方程 $f (x) = 0$ 的解。因此我们现在可以利用 $x_1$ 开始下一轮迭代。迭代公式可化简为如下所示：

　已经证明，如果 $f '$ 是连续的，并且待求的零点 $x$ 是孤立的，那么在零点x周围存在一个区域，只要初始值 $x_0$ 位于这个邻近区域内，那么牛顿法必定收敛。并且，如果 $f ' (x)$ 不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。

　　由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是”切线法”。牛顿法的搜索路径（二维情况）如下图所示：

　　牛顿法搜索动态示例图：
这里写图片描述

关于牛顿法和梯度下降法的效率对比：

　　从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）

　　根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。这里写图片描述

牛顿法的优缺点总结：

　　优点：二阶收敛，收敛速度快；
　　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

2.2..2、拟牛顿法（Quasi-Newton Methods）

拟牛顿法是求解非线性优化问题最有效的方法之一。
$~~~~~~~$ 拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

具体步骤：
　　拟牛顿法的基本思想如下。首先构造目标函数在当前迭代xk的二次模型：
$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$ 这里写图片描述
这里 $B_k$ 是一个对称正定矩阵，于是我们取这个二次模型的最优解作为搜索方向，并且得到新的迭代点：
$~~~~~~~~$ 其中我们要求步长 $a_k$ 满足Wolfe条件。这样的迭代与牛顿法类似，区别就在于用近似的Hesse矩阵 $B_k$ 代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵 $B_k$ 的更新。现在假设得到一个新的迭代 $x_{k+1}$ ，并得到一个新的二次模型：这里写图片描述
我们尽可能地利用上一步的信息来选取 $B_k$ 。具体地，我们要求 :
$~~~~~~~~~~~~~~~~~~~~~~~$
$~~~~~~~~~~~~~~~~~~~~~~~$

这个公式被称为割线方程。常用的拟牛顿法有DFP算法和BFGS算法。

2.3、共轭梯度法（Conjugate Gradient）

$~~~~~~~~$ 共轭梯度法是介于最速下降法(梯度下降法)与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

在数学中，共轭梯度法是一个算法的数值解特定的线性方程组，即那些矩阵是对称和正定的。共轭梯度方法通常实现为迭代算法，适用于太大而无法通过直接实现或其他直接方法（例如Cholesky分解）处理的稀疏系统。在数值求解偏微分方程或优化问题时，通常会出现大型稀疏系统。

共轭梯度法也可用于解决无约束优化问题。双共轭梯度方法提供了一种推广到非对称矩阵。各种非线性共轭梯度方法寻求非线性方程的最小值。
这里写图片描述

计算原理和例题，详见请点击这里

三、启发优化的原理

　启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案。启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。

　　还有一种特殊的优化算法被称之多目标优化算法，它主要针对同时优化多个目标（两个及两个以上）的优化问题，这方面比较经典的算法有NSGAII算法、MOEA/D算法以及人工免疫算法等。

刷了很多公司的面试要求，其中的算法总结，后期不定期更新

机器学习----面试常用知识点-1