拉格朗日对偶性与其应用SVM,ME

求解约束最优化问题常常采用拉格朗日求解，利用朗格朗日对偶性将原问题转化为其对偶问题，通过求解对偶问题得到原问题解。

1.原始问题：

假设f(x),c(x)是连续可微函数，考虑其约束最优解：

$min f(x)\\ s.t \ \ \ \ c_i(x)\leq 0 \ \ \ \ i=1.2....k$

引入拉格朗日函数：

$L(x,a)=f(x)+\sum_{i=1}^{k} a_ic_i(x)\\ a_i\geq 0 \ \ \ \ i=1,2,3...k$

考虑x的函数，下标p表示原始问题：

$\theta_p(x)=\underset{a;a_i\geq 0}{max}L(x,a)$

对于原始问题，若x不满足约束条件，级c(x)>0,则取对应a极大，则原始问题得到无穷大；若x满足约束条件，则

$\theta_p(x)=f(x)$

考虑极小化问题：

$\underset{x}{min}\theta_p(x)=\underset{x}{min}\ \underset{a;a_i\geq 0}{max}L(x,a)$

2.对偶问题

定义：

$\theta_D(a)=\underset{x}{min}L(x,a)$

再考虑极大化，即：

$\underset{a}{max} \ \theta_D(a)=\underset{a;a_i\geq 0}{max}\ \underset{x}{min}L(x,a)$

3.对偶与原始问题的关系

若原始问题和对偶问题都有最优解，则

$\underset{a;a_i\geq 0}{max}\ \underset{x}{min}L(x,a)\leq \underset{x}{min}\ \underset{a;a_i\geq 0}{max}L(x,a)$

证明：

$\underset{x}{min}L(x,a)\leq L(x,a)\leq\underset{a;a_i\geq 0}{max}L(x,a)$
$\theta_D(a)\leq \theta_p(x)$

由于原始问题和对偶问题均有最优值，则

$\underset{a;a_i\geq 0}{max}\ \underset{x}{min}L(x,a)\leq \underset{x}{min}\ \underset{a;a_i\geq 0}{max}L(x,a)$

定理：x*，a*是原始问题和对偶问题的可行解，并且最优值相同，则x*,a*分别是原始问题和对偶问题的最优解

定理：假设f(x),c(x)是凸函数，并且x满足不等式约束，则x*和a*分别是原始问题和对偶问题的解的充分必要条件是x*，a*满足KKT条件：

$\\ \frac{\partial L(x*,a*)}{\partial x} =0\\ \frac{\partial L(x*,a*)}{\partial a} =0\\ a_i^*c_i(x*)=0 \ \ \ \ \ i=1,2,3...k\\ c_i(x^*)\leq 0\ \ \ \ \ i=1,2,3...k\\ a_i^*\geq 0\ \ \ \ \ i=1,2,3...k$

朗格朗日对偶性应用

EM 最大熵模型

最大熵模型是由最大熵理论推导，是概率模型学习的准则，最大熵模型认为，在所有的概率模型中，熵最大的模型是最好的模型。最大熵模型认为要选择的模型必须首先满足约束条件。最大熵模型表示对于给定的输入x以条件概率p(y|x)输出y。给定一个数据集，可以根据后验概率确定：

$\widetilde{p}(x,y)=\frac{v(x,y)}{N}$

$\widetilde{p}(x)=\frac{v(x)}{N}$

其中v(x)表示训练集中样本x出现频数，N表示样本总数。

用特征函数表示f(x,y)描述输入x和输出y之间的一个事实，其定义为

f(x,y)=1 x,y满足某一事实；否则 f(x,y)=0

f(x,y)特征函数关于后验分布的期望：

$E_{\widetilde{p}}(f)=\sum_{x,y}f(x,y)*\widetilde{p}(x,y)$

f(x,y)特征函数关于先验分布的期望：

$E_p(f)=\sum_{x,y} f(x,y)*\widetilde{p}(x)p(y|x)$

假设连个期望相等，则

$E_p(f)=E_{\widetilde{p}}(f)$

最大化条件熵,最大熵模型的学习如下：

$\\ max \ \ \ \ \ \ H(p)=-\sum \widehat{p}(x) p(y|x)log_2 p(y|x)\\ s.t \ \ \ \ \ \ \ \ \ \ E_p(f_i)=E_{\widetilde{p}}(f_i) \ \ \ i=1,2,....n \\ \ \ \ \ \ \sum_yp(y|x)=1$

然后采用拉格朗日对偶问题求解。

2.SVM模型

svm模型如下：

$\\ min \ \ \ \ \ \frac{1}{2}||w||^2\\ s.t \ \ \ \ \ \ \ \ \ \ y_i(w^Tx_i+b)\geq 1\ \ \ i=1,2,....m$

然后采用朗格朗日对偶问题求解。