近位のアルゴリズム3の解釈

近位のアルゴリズム

このセクションでは、著者は、近位の視覚的な解釈のいくつかのいくつかをまとめたもの

モロー・吉田正則

内側コンボリューション(畳み込みinfimal):
\ [(F:\ \ボックス\:G)、(V)= \ inf_x(F(X)+ G(VX))\]

モロー-吉田エンベロープまたはモロー-吉田正則である:
\ [M _ {\}ラムダF = \ラムダF:\ \ボックス\:(1/2)\ | \ CDOT \ | _2 ^ 2 \] その後:
ここに画像を挿入説明
で事実これは私たちが何かを持っていた前のセクションで述べたように、あります。前節のように、それを示すことができる:
\ [M_F(X)= F(\ mathbf Proxの} {(X))+(1/2)\ | X- \ mathbf} {Proxの_F(X)\ | _2 ^ 2 \]
と:
\ [\ナブラM _ {\ lambda_f}(X)=(ラムダ\ 1 /。)(X- \ mathbf {Proxの} _ {\ラムダF}(X))\]
I上記ものの知らない\(F \)を非微分方法プルーフの条件で測定した。
次いで、前節と同様の結果があります。
ここに画像を挿入説明
これに帰着、オペレータの近位端は、実際には、最小化することである\(M _ {\ラムダFを } \) 同等(M_ {F} ^ * \の\ナブラ)\、すなわち:
\ [^ F(X)\ mathbf} {M_ {*のProxの_F(X)= \ナブラは} \]
これはモローによる分解を必要とします取得。

接触時間勾配\(\ mathbf {PROX} _ {\ラムダF} =(I + \ラムダ\部分F)^ { - 1} \)

ここに画像を挿入説明
上記の式は、問題があり、マッピングは、単一値の関数である(論文はまた、関係の点でより適切で話す)、なぜなら(\部分Fの\)\理由しかし、紙があると思われましたが、これは証拠には影響を与えません。
ここに画像を挿入説明

改善された勾配パス

就像在第一节说的,和之前有关Moreau envelope表示里讲的:
\[ \mathbf{prox}_{\lambda f} (x) = x - \lambda \nabla M_{\lambda f}(x) \]
实际上,\(\mathbf{prox}_{\lambda f}\)可以视为最小化Moreau envelope的一个迭代路径,其步长为\(\lambda\). 还有一些相似的解释.
假设\(f\)是二阶可微的,且\(\nabla^2 f(x) \succ0\)(表正定),当\(\lambda \rightarrow 0\):
\[ \mathbf{prox}_{\lambda f} (x) = (I + \lambda \nabla f)^{-1} (x) = x - \lambda \nabla f(x)+o(\lambda) \]
这个的证明,我觉得是用到了变分学的知识:
\[ \delta(I+\lambda \nabla f)^{-1}|_{\lambda=0}=-\frac{\nabla f}{(I+\lambda \nabla f)^{-2}}|_{\lambda =0}= -\nabla f \]
所以上面的是一阶距离的刻画.

我们先来看\(f\)的一阶泰勒近似:

ここに画像を挿入説明
その近位端に、操作者:
ここに画像を挿入説明
センスが、実際には:\(\ mathbf Proxの} _ {{\ラムダ\ _Vハット{F} ^ {(1)}。} \)

従って、第2次近似があります。
ここに画像を挿入説明
ここに画像を挿入説明

私は、はい何このようなものを知っていないが、これは、ニュートン法レーベンバーグ・マルカートアップデートです。

上記の証明は簡単ですが、定義はより直接的にエクスポートすることができます。

ドメインの信頼の問題

近位ドメインの信頼関係も、問題を説明するために使用することができます。

ここに画像を挿入説明
近位の一般的な問題:
ここに画像を挿入説明
ペナルティ項に制約が、紙はまた、異なるパラメータを指定することで、と指摘した\(\ロー\)\(\ラムダ\) 二つの質問が互いの解に到達することができます。

おすすめ

転載: www.cnblogs.com/MTandHJ/p/10992036.html