ラグランジュ双対性（ラグランジュ双対性）

1.の問題にしても元の問題

双対性の最適化の重要な部分であり、制約付き最適化問題は、多くの場合、機械学習において遭遇する問題であり、このような問題は、以下の形式で表現することができる理論
\ [\開始{整列}分 \; \;＆F（X ）\\ ST \; \;＆ g_i（X）\ル0、\; \; I = 1、\ cdots、M \\＆H_I（X）= 0、\; \; I = 1、\ cdots、 nは\\は\エンド{整列} \
] 制約は、スペースを減らすために解決する必要はなく、機械学習では、制約条件は、多くの場合、より複雑です。このように、最適な値を計算するための制約条件が不便なスペースの制約を再計算されます。従って制約なし最適化問題への一般制約最適化問題のラグランジュ関数
\ [L（X、\ラムダ、\のETA）= F（X）+ \ sum_i ^ M \ lambda_i g_i（X）+ \ sum_i ^ N \ eta_i H_I（X）
\] このとき、ラグランジュ乗数の方法直接に従い場合\（X、\ラムダ、\の ETA \）偏導関数、無利益の結果は、複雑な制約を簡素化します。私たちは、元の問題を最適化する方法を取得するだけでなく、計算方法を簡素化します。さらにタップするので、\（\ラムダ、\エータ\ ）私たちが一般化ラグランジュ関数にそうであるように物事が、持って来ることができます\（\ラムダ、\エータ\ ）最大
\ [\ theta_P（X）= \ underset {\ラムダ\ GE 0
、\イータ} {最大} \; L（X、\ラムダ、\のETA）\] 必要請求\（\ラムダ\ GE 0 \）を、この最大化で見つけることは容易です質問、もし\（のx \）元の問題の制約を満たしていない、結果は正の無限大を最大化することでなければなりません。例えば、\（G_i（X - ）> 0 \）、に関して\（\ラムダ、\のETAが\ ）最大化され、それは係数が無限大になる傾向があるであろう全体式が無限大になる傾向があることができます。とき（のx \）を\して結果を最大化するために、満足な制約でなければなりません（F（X-）\）\。この特徴によれば、我々は、元のラグランジュ最小化問題は、一般的な二段階で除去することができる
underset X {分} \ [\ L（X、\ラムダ、\のETA）= \ {X分underset; \ } \; \ theta_P（X） = \ underset X {分} \; \ underset {\ラムダ\ GE 0、\イータ} {最大} \; L（X、\ラムダ、\のETA）\]

電極L（X、\ラムダ、\のETA）一般ラグランジュ呼ば$、$ \ underset X {分}を解体した後の問題; \ underset {\ラムダ\ GE 0、\イータ} {最大}偉大な小さな問題は、それが元の問題に完全に同等です。二重性は、この問題は、元の問題（プライマル問題）として知られています。

唯一つの位置を交換双対問題のミニマックス問題である双対問題（双対問題）につながる可能性が元の問題によるミニマックス問題。最初の定義
\ [\ theta_D（\ラムダ、
\のETA）= \ underset {X} {分} L（X、\ラムダ、\のETA）\] 次に、双対問題である
\ [\ underset {\ラムダ\ GE 0、 \ ETA} {最大} \; \ theta_D（\ラムダ、\のETA）= \ underset {\ラムダ\ GE 0、\イータ} {最大} \; \ underset {X} {分} L（X、\ラムダ、 \] \ ETA）
制約最適化問題として展開され、このミニマックス問題がラグランジュ問題一般化され、
\ [\ underset {\ラムダ、 \イータ} {最大} \; \ theta_D（\ ラムダ、\のETA）= \ underset {\ラムダ、\イータ} {最大} \; \ underset {X} {分} L（X、\ラムダ、\のETA）\\ ST \ lambda_i \ GE 0、\; \ ; I = 1,2、\ cdots、
\] kは 2つの関数は同じ変数ではないことがわかるが、元の問題のために、それが変数である\（X \）、および双対問題のために、それが変数である（\ \ラムダ、\; \ ETA \）。また、これらの2つの問題は同じではない、と貧しいよりも時にはもう少し。他の国では最も強力な卓球選手として理解することができ、また中国で最も強力な食品の卓球選手は、もちろん、このアナロジーは正確ではありません。

2.弱と強双対性の二重性

二重機能は、計算された難易度の本来の機能を元の下限を見つけるために関数として理解することができ、それは二重の機能を解くことによって近似値を求めることができます。そして、一定の条件が満たされている機能は、元の関数の解の溶液であっても機能に相当します。具体的には、二重機能の\（\ theta_D（\ラムダ、 \のETA）= \ underset {X} {分} L（X、\ラムダ、\のETA）\）、即ち、元の問題の下限を決定する
\ [\ theta_D（\ラムダ、\のETA） = \ underset {X} {分} L（X、\ラムダ、\のETA）\ルL（X、\ラムダ、\のETA）\ル\ underset {\ラムダ\ GE 0、 \ ETA} {最大} \; L（X、\ラムダ、\のETA）= \ theta_P（X）\タグ{2-A} \]

それ
\ [\ theta_D（\ラムダ、
\エータ）\ル\ theta_P（X）\] 、\（\ theta_d（\ラムダ、\ ETA）\）その他の国卓球選手に見られる\（\ theta_P（X- ）\）他の国では、中国の卓球選手とみなさその後、最も強力な中国に必ずしも最悪比較することはできません。その
\の[さd ^ * = \ underset {\ラムダ、\イータ} {最大} \; \ theta_D（\ラムダ、\のETA）\ル\ underset X {分} \; \ theta_P（X）= P ^ * \ タグ{2-B} \]
このプロパティは、弱双対性（弱双対性）。下限は重要ではなく、時にはあまり助けの元の問題の非常に小さな、近似解を得るため、弱双対性は、明らかであるように思われ、いずれかの最適化問題のために真です。弱双対性、強双対性が存在しますので、両方の強双対性を指し
\ [D ^ * = P ^
* \] これは明らかでシンプルな二重の問題を解決することを意味驚きの自然の原因であり、元の問題の解を得るために（理由双対問題の凸最適化問題は常にあります）。しかし、強双対性は、特に私にとっては、最適化問題では非常に難しい問題です。厳しい条件とKKT条件：だから私は2つのだけ強双対性の条件を導入することができます。

3. KKT条件

ストリンジェントな条件は、元の問題が凸関数であることを意味し、この時点での不等式制約が不等式が厳密に不平等であるという厳しい条件を満たすことがあれば制約は、アフィン関数である、等号を取ることができない、そして強双対性が成り立ちます。この条件は、SVMになり上の任意の点、すなわち、超平面はそれらを正しく分けることができますがあり、すなわちデータセットが線形分離可能です。ストリンジェントな条件は、十分な強双対性のための条件ではなく、必要条件です。いくつかはまた、強力な二重性を有していてもよく満足して厳格な条件ではありません。

KKT条件元の問題と双対問題の極値点であると仮定すると、変数の関係の値を導出するために厳しい条件を満たした場合の\（X ^ * \）と\（\ラムダ^ * \ ETA ^ * \）、極値に対応している（\ P ^ * \）と\（D * ^ \）。強双対性を満足することにより、そこ\（P = D ^ * ^ * \）。極端な点に入る
\ [D ^ * = \ theta_D （\ラムダ^ * \ ETA ^ *）= \ X underset {分} L（X、\ラムダ^ * \ ETA ^ *）\タグ{ 3-A} \]
これは示している\（X ^ * \）されている\（L（X、\ラムダ ^ * \ ETA ^ *）\）極値点、その後\ラムダ\（L（X、 ^ * \ ETA ^ *）\ ）で（X ^ * \）\のゼロでの勾配、すなわち
\ [\ triangledown F（X ^ *）+ \ sum_i ^ M \ lambda_i g_i（X ^ *）+ \ sum_i ^ N \ eta_i H_I（X ^
*）= 0 \タグ{3-B} \] 式によって\（（A-2）\）、
\ [\開始{整列} D ^ * =＆\ underset X {分} L（X、\ラムダ^ * \ ETA ^ *）\\ \ル＆L（X ^ * \ラムダ^ * \ ETA ^ *）\\ =＆F（X ^ *）+ \ sum_i ^ Mの\ lambda_iのg_i（X ^ *）+ \ sum_i ^ N \ eta_i H_I（X ^ *）\\ \ル＆P ^ * = F（X ^ *）\端{整列}
\タグ{3-C} \] ので\（P ^ * = D ^ * \）ので、式不等数は、式次いで、等号を取る必要があり、\（（3-B） \）を得へ
の\ [\ sum_i ^ Mの\ lambda_iの
g_i（X ^ *）+ \ sum_i ^ N \ eta_i H_I（X ^ *）= 0 \タグ{3-D} \] ノートので\（X ^ * \）この問題の解決策として、それを満たすことが確認され（H（X ^ *）\を = 0 \）、そう
\ [\ lambda_i g_i（X） \; \; = 0、\ I = 1,2、\ cdotsは、 M \]
これは、相補緩み条件（相補緩み）と呼ばれています。

これは、\（\ラムダ\ GE 0 \）デュアル実現可能性と呼ばれています。そして、それを合計ミニマックスの双対問題の問題に元の問題からのようです。しかし、ここでの別の説明は、それを単純化するだけ不等式制約を考慮することがある
\ [\開始{整列}分 \; \;＆F（X）\\ ST \; \;＆G（X）\ル0 \ \ \端{整列} \]
ここで、\（G（X）\ル 0 \）は、元の実行可能性と呼ばれ、それは間隔によって決定される可能領域を呼びます。仮定すると、\を（X ^ * \） 2例における問題の解決策、その位置

（1）\（G（X ^ *）<0 \）、可能領域で行わ溶液。その後、溶液が内部ソリューションと呼ばれ、制約条件は有効ではありません、元の問題は、制約のない問題となります。
（2）\（G（X ^ *）= 0 \）、取得した境界上の溶液を、次いで、溶液は、制約条件が有効で、境界溶液と呼ばれます。

ここでは、のために解決するために、0の勾配から直接内部ソリューションは、境界ソリューションに焦点を当てました。

以下のための\（G（x）= 0 \）制約確立ラグランジュ関数
\ [さL（X、\ラムダ
）= F（X）+ \ラムダG（X）\] よどみので\（X ^ * \）は、関数、その上に作られた（X ^ * \）\勾配がゼロで、すなわち
\ [\ triangledown F（X ^ *）+ \ラムダ\ triangledown G（X ^ *）= 0 \]
2つの勾配の方向は、ここで決定されるべきでは\（F（X）\）の境界で最小値に取られる、可能領域の部分\（f（x）は\）これは極めてよりも大きくなければなりません小さい値なので、\（\ triangledown F \）方向は、ドメイン内で可能です。そして\（\ triangledown G \）外側部分の方向は制約があるため、実現可能である\（G（X）\ル0 \）、すなわち外側部分は、実現可能である（0 \ G（X）>）\ので、方向指示関数の勾配方向に増加します。これは、この式は、上記設定すること、二つの機能とは逆勾配の方向を示している（\ \ラムダ\）にのみ0以上であることができます。これは二重の可能性です。

次に、他の条件を組み合わせて、我々はKKT条件を得る：
\ [\整列開始{} \ triangledown _xのL（X ^ * \ *ラムダ^、\ ^ ETA *）= 0 \\ G_i（X ^ *） \ル0 \\ \ lambda_i \ GE 0 \\ \ lambda_i g_i（X ^ *）= 0 \端{整列} \]

参照：

[1] 凸最適化

[2]パターン認識と機械学習。

[3]統計的学習法

[4] サポートベクターマシン：双対性

[5] KKT条件