ディレクトリ

新しいサイトを更新するために、「機械学習」、より多くのpython、行く、データ構造とアルゴリズム、爬虫類、あなたを待って人工知能教育のより完全な：https://www.cnblogs.com/nickchen121/

ラグランジュ双対性

制約付き最適化問題は、ラグランジュの双対問題に元の問題の解を解くことによって得られた溶液を、次いで、双対問題のための二重性（ラグランジュ双対）元の問題を変換することができます。

まず、元の問題

1.1制約付き最適化問題

仮定\（f（x）が、C_I （X）、h_j（X）\）で定義されている（R ^ n個の\）\に連続微分可能関数、元の問題の最適化問題の制約条件である
[\ \ {始まります整列}＆\のunderbrace {分}で_ {Xの\ {R ^ N} f（x）が\\＆ST \、C_I（x）は\ leq0、\クワッド{I = 1,2、\ cdots、K} \\＆h_j（X）= 0
、\クワッド{J = 1,2、\ cdots、L} \端が\] {整列} 制約問題は、制約条件を考慮せず
underbrace {分} \ [\ _ {X \ {R ^ N}で
F（X）\] が想定されているので\（f（x）が、C_I （X）、h_j（X）\）連続微分可能、直接（F（X）\）\シークリード0を取る、あなたが最適な解決策を見つけることができますが、そこに制約があるので、制約を削除する方法を見つける必要があるとラグランジュ関数は正確にそれをやっています。

1.2一般化ラグランジュ

、一般ラグランジュ（関数一般ラグランジュ）の導入を元の問題を解決する
\ [L（X、\アルファ、\ベータ）= F（X）+ \ sum_ = {I}。1 ^ K \のalpha_ic_i（X） + \ sum_ {J = 1} ^ L \ beta_jh_j（X）\] \（X =（X ^ { （1）}、X ^ {（2）}、\ cdots、X ^ {（N）}） T ^ \ ^ R＆LT N-における{} \）、\ （\ alpha_i \ geq0、\ beta_j \）ラグランジュ乗数です。

もし\（L（X、\アルファ、\ベータ）\）とみなさに\（\ alpha_i、\ beta_j \ ）関数、その最大値、すなわち見つける
\ [\ underbrace {最大} _ {\アルファ、 \ベータ} L（X、\の
アルファ、\ベータ）\] ので\（\ alpha_i、\ beta_j \ ）ラグランジュ乗数は、することが可能であることを発見したように（L（X、\アルファ\ \ベータ） \）で見\（X \）関数
\ [\ theta_P（X）=
\ underbrace {最大} _ {\アルファ、\ベータ} L（X、\アルファ、\ベータ）\] ここで、添え字\ （P \）は、元の問題を表しています。

1.3制約を考えてみましょう

あなたが与えられていると仮定し\（X- \）。

場合\（Xは\）元の問題の制約、即ち存在違反\（Iは\）そのような\（C_I（W）> 0 \）、または存在\（J \）そのような\（h_j（W）\をneq0 \）がある
\ [\ theta_P {（X） } = \ underbrace {最大} _ {\アルファ、\ベータ：\ alpha_i \ leq0} [F（X）+ \ sum_ {i = 1} ^ K \ alpha_ic_i（X）+ \ sum_ {
i = 1} ^ L \ beta_jh_j（X）] = + \ inftyの\] なぜならもし\（Iは\）そのような制約\（C_I（X）> 0 \）、次いで行うことができる（\ \ alpha_i \ RIGHTARROW + {\ inftyの}）\ ;場合\（J \）よう\（h_j（X）\ neq0が\）、ようにしてもよい（\ \ beta_jh_j（X）\ RIGHTARROW {+ \ inftyの} \）。
場合\（X \）元の問題の制約が満たされ、\（h_j（X）= 0 \）と\（\ alpha_ic_i（X）\ leq0 \）、そう\（\ theta_P {（X） } \）最大値は\（F（X）\）、すなわち、\（\ theta_P {（X）} = F（X）\）。

制約を考慮することによって取得する
\ [\ theta_P {（X） } = \開始{ケース} F（X）、および\テキスト{$ X $ 制約を満たす} \\ + \ inftyの、＆\のテキストを{ 他} \端{ケース} \]
したがって、最小化問題を考慮して
\ [\ underbrace {分} _x \ theta_P {（X）} _ {X} = \ {分} _ {X} \ \ underbrace underbrace { マックス} _ {\アルファ、\
ベータ} L（X、\アルファ、\ベータ）= \ underbrace {分} _ {X} F（X）\] が元の問題と等価である、ここで、\（\ underbrace {分} _ {X} \ \ underbrace {最大} _ {\アルファ、\ベータ} L（X、\アルファ、\ベータ）\）一般ラグランジュミニマックス問題と呼ばれています。

ミニマックス問題のラグランジュ関数によって一般化は、元の問題の最適値を定義することができる
\ [P ^ * = \ underbrace
{分} _x \ theta_P（X）\] ラグランジュを使用してこのセクション制約のない問題に、元の制約問題への日帰り機能は、問題が拘束されていないの制約についてです。

第二に、二重の問題

定義\（\アルファ、\ベータ\ ）関数
\ [\ theta_D（\アルファ、
\ベータ）= \ underbrace {分} _xL（X、\アルファ、\ベータ）\] 式の右辺は、約ある\ （X \）を決定するために、すなわち、関数を最小化する\（X \）の値、および最低限の（\アルファ、\ベータ\ \ ）に関連します。
もし最大化\（\ theta_D（\アルファ、\ベータ）\）、すなわち
\ [\ underbrace {最大} _ {\アルファ、\ベータ} \ theta_D（\アルファ、\ベータ）= \ underbrace {最大} _ {\アルファ、\ベータ} \
underbrace {分} _ {X} L（X、\アルファ、\ベータ）\] 上記元の問題双対問題は、である（\ \ underbrace {最大} _ {\アルファ、\ ベータ} \ underbrace {分} _ {X} L（X、\アルファ、\ベータ）\）も一般ラグランジュミニマックス問題と呼ばれます。

この二重の問題に元の問題
\ [\ underbrace {分} _x \ theta_P {（X）} _ {X} = \ underbrace {分} _ {X} \ \ underbrace {最大} _ {\アルファ、\ベータ} L（X、\アルファ、
\ベータ）\] 元の問題は、第1の固定た\（L（X、\アルファ、\ベータ）\）の\（X \）、パラメータの最適化\（\アルファ、\ベータ\）、その後、最適化\（X \） ;双対問題をするために固定されている（\アルファ、\ベータ\）\、最適化\（X \）、その後、と判断し、\（\アルファ、\ベータ\を）。
最適な双対問題がある
\ [D ^ * = \ underbrace {\アルファ、\ベータ} _ {最大} \ theta_D（\アルファ、\ベータ）\]

第三に、元の問題と双対問題との関係

3.1定理1

元の問題場合と双対問題の最適解を有している、
\ [D ^ * = \ underbrace {最大} _ {\アルファ、\ベータ} \ underbrace {分} _xL（X、\アルファ、\ベータ）\当量\ underbrace {分} _x \ underbrace {
最大} _ {\アルファ、\ベータ} L（X、\アルファ、\ベータ）= P ^ * \] なぜなら、任意の\（\アルファ、\ベータ、X \）、両方の
\ [\ theta_D（\アルファ、 \ベータ）= \ underbrace {分} _xL（X、\アルファ、\ベータ）\当量{L（X、\アルファ、\ベータ）} \当量\ underbrace {最大} _ {\アルファ、\ベータ}
L（X、\アルファ、\ベータ）= \ theta_P（X）\] すなわち
\ [theta_D（\アルファ、\
ベータ）\当量\ theta_P（X）\] 元の問題ので双対問題は、最適値を有するので、
[_ underbrace {最大} \ \
\ theta_D（\アルファ、\ベータ）\当量\ underbrace {分} _x \ theta_P（X）\ {\アルファ、\ベータ}] すなわち
\ [D ^ * = \ underbrace {最大} _ {\アルファ、\ベータ} \ underbrace {分} _xL（X、\アルファ、\ベータ）\当量\ underbrace {分} _x \ underbrace {最大} _ {\アルファ、\ベータ} L（X、 \アルファ、\ベータ）= P ^ * \]
元の問題の最適値以上の説明は双対問題の最適値未満ではありませんが、私たちは二重の問題により、元の問題を解決したい、双対問題の最適値の元の問題に等しい最高の値を取得する必要があります。

3.2系1

1定理によって導入することができる：仮定（^ * \アルファX \ ^ * \ベータ^ * \）されている元の問題と双対問題に対する実行可能な解決策を、もし\（D ^ * = P ^ * \）、次に\ （X ^ *、\アルファ^ ^ * \ * \ベータ版）は、元の問題と双対問題の最適解です。

最適値は、元の問題と双対問題のに等しいとき\（D = P * ^ * ^ \）、元の問題の双対問題を解決する場合よりも簡単に使用して、元の問題は、二重の問題が解決することができます。

3.3定理2

関数仮定元の問題と双対問題のため\（F（X）\）と\（C_I（X）\）凸状である、\（h_j（X）\）でアフィン関数（注：アフィン関数であります機能次多項式構成、（+ B \のF（X）= AX）\ \ （\）は行列であり、\（Xは、Bは、\）ベクトル）であり、不等式制約を仮定\（C_I（X）\）厳密に実現可能である、すなわち、プレゼンス\（X \）、すべてのために\（私は\）している（<0 \ C_I（X））を\そこされ、（xは^ *、\アルファ\ ^ *、\ベータ^ * \）、そう\（X ^ * \）、元の問題の解決策です\（\アルファ^ *、\ベータ^ * \）双対問題への解決策があり、そこになります
\ [P ^ * = D ^ * = Lは、（X ^ * \アルファ^ * \ベータ^ *）\]

3.4定理3（KTT条件）

元の問題と双対問題のために、関数と仮定\（F（X）を\）と\（C_I（x）は\）に凸であり、\（h_j（X）\）と不等式制約を仮定し、アフィン関数であるC_Iは（\ （X）\）があることを厳密に実行可能である（X- \）\すべてのために、\（私は\）している<0 \）（C_I（X- \）、その後、\（X ^ * \）元の問題ですソリューション、\（\アルファ^ *、\ベータ^ * \）双対問題の解決のために必要かつ十分な条件であるがされた（X ^ *、\アルファ\ ^ *、\ベータ^ * \）以下のKarush-クーン・タッカーを満たします（KKT）条件
\ [\開始{整列}＆ \ nabla_xL \\＆\ nabla_ \アルファ{L（X ^ * \アルファ^ * \ベータ^ *）= 0（X ^ * \アルファ^ * \ベータ^ *）} = 0 \\＆\ nabla_ベータ{L（X \ ^ * \アルファ^ * \ベータ^ *）} = 0 \\＆\ alpha_i ^ * C_I（X ^ *）= 0 \クワッド{I = 1,2、 \ cdots、K} \\＆C_I（X ^ *）\ leq0、\クワッド{I = 1,2、\ cdots、K} \\＆\ alpha_i ^ * \ geq0 \クワッド{I = 1,2、
\ cdots、K} \\＆h_j（X ^ *）= 0、\クワッド{J = 1,2、\ cdots、L} \端{ALIGN} \] 前記\（\ alpha_i ^ * C_I（ X ^ *）= 0、\クワッド{I = 1,2、\ cdots、kは} \）の状態から見て相補的二重KKT条件である：もし\（\ alpha_i ^ * > 0 \）、その後、\（C_I（X ^ *）= 0 \）。

-08ラグランジュ双対性