最適化：モデリング、アルゴリズム、理論（基礎知識）

最適化: モデリング、アルゴリズム、理論

私は現在、「最適化: モデリング、アルゴリズム、理論」という本を勉強しています。それをここに記録し、いくつかのメモを取ります。また、それに私自身の理解をいくつか加えて、そのような厳格な方法で書かないように努めます (もちろん、最も適切な方法です)。基本はまだ必要）
全文は28,365文字なので疲れる

第2章 基礎知識

2.1 標準

2.1.1 ベクトルノルム

定義 2.1 (ノルム)ベクトル空間 R ⁿから実数体 R への非負関数 ||・|| が次を満たす場合、ノルム
と呼ばれます。 (1) 正の明確性: すべての$v\in R^n$，有$||v||>=0$、および$||v||=$v = 0 v=0の場合にのみ$0$$v=0$
(2) 均一性: すべての$v\in R^n$和$\alpha \in R$ 、 ∣ ∣ α v ∣ ∣ ||{\alpha}v||があります$||\alpha v||$ =$|\alpha |$ $||v||$
(3) 三角不等式: すべての$v、w\in R^n$ ,有$||v+w||<=||v||+||w||$
最も一般的に使用されるベクトル ノルムは l_pノルム (p >= 1)
$$||v|{|}_{}=(|v_{}{|}^p+|v_{}{|}^p+\dots +|v_{}{|}^p{)}^{1/p}$$

当然のことながら、誰もが高度な数学を学習しているはずです。p $p=\infty$、次に${私}_{}$ノルムは次のように定義されます。$$||v|{|}_{}=max|v\_{}_{}|$$

p = 1 , 2 , ∞ p = 1,2,{\infty}を覚えておいてください。$p=1、2、\infty$の場合が最も重要ですが、場合によってはl 2 l_2を無視します。${私}_{}$ノルムのノルムは、
正定行列$A$によって誘導されるノルム$||\times |{|}_{}=\sqrt{{バツ}^{TAX}\_\_}$

l 2 l_2の場合${私}_{}$通常、一般的に使用されるコーシー不等式があり、$、\_b\in R^n$，则
$$|a^{T}b|<=||a|{|}_{}||b|{|}_{}$$
等号は、a が b と線形関係にある場合にのみ成立します。

2.1.2 行列ノルム

行列ノルムは、まず同じ 3 つの特性を満たす必要があります。つまり、正の確実性、均一性、三角不等式を満たす必要があります。一般的に使用されるものは${私}_{}、{私}_{}$p = 1 p = 1の場合のノルム$p=1$の場合$A\in R^{m\ast n|}$ ∣
$$||A|{|}_{}=\sum _{i=1}\sum _{j=1}|a_{}$$
∣p$$=\; 2の場合$$$p=2$、行列のフロベニウス ノルム (F ノルム) とも呼ばれ、$||A|{|}_{}$, 実際にはすべての要素の二乗和とルート記号です. 具体的な定義は次のとおりです
$$||A|{|}_{}=\sqrt{Tr(A{A}^{た}）}=\sqrt{\underset{私、j}{}{ある}_{ij}^{}}$$
ここに$Tr\; は$正方行列のトレースを表します。直線上の各要素の合計は行列 A のトレース (またはトレース番号) と呼ばれ、一般に tr(A) と表されます)。行列の F ノルムは直交しています。不変性。
直交不変性とは、直交行列$U\in R^{m\ast n}、V\in R^{m\ast n}$の場合、
$$||UAF|{|}_F^{}=||A|{|}_F^{}$$
具体的な導出は式を打つのが面倒なので書きませんが（笑）、興味のある方は本書の24ページを読むか、私のところに来てください^^

行列ノルムはベクトル ノルムによっても誘導できます。この種の算術は一般に誘導ノルムと呼ばれます。あまり使用されないように感じます。ここでは展開しません。1
ノルムと 2 ノルムに加えて、行列ノルムは、行列A ∈ R m ∗ n A{\in}R^{m*n} が与えられた場合の核ノルムです。$A\in R^{m\ast n\; の}$場合、核ノルムは次のように定義されます
$$||A|{|}_{}=\sum _{i=1}{p}_{}$$
その中$p_{}、私=1、2、...、r$为$A$のゼロ以外のすべての特異値$r=rank\left(A\right)$、ベクトル${私}_{}$ノルムはスパース性を維持することができ、通常は行列のカーネル ノルムを制限することで行列の低ランクを保証します。

2.1.3 行列の内積

内積は、通常、2 つの行列間の角度を表すために使用されます。一般的に使用される内積は、フロベニウスの内積、$メートル\ast n$の行列$A$と$B$のフロベニウス内積は
$$<あ、B>=Tr(A{B}^{た}）=\sum _{i=1}\sum _{j=1}{ある}_{}{b}_{}$$
実際には、これは 2 つの行列の 1 対 1 に対応する要素の乗算です。
同様に、行列ノルムに対応するコーシー不等式もあります。A $あ、B\in R^{m\ast n}$，则
$$|<あ、B>|<=||A|{|}_{}||B|{|}_{}$$
等号は、A と B が線形関係にある場合にのみ成立します。

2.2 デリバティブ

2.2.1 勾配とヘッセ行列

勾配の定義 (これは私がこれまで見たことがないものであるはずです): 与えられた関数$f:R^n\to R$、および$f\; は$点xxベクトルg ∈ R ng{\in}R^n が$存在する場合、\; x$の近傍内で意味があります。$g\in R^{n\; は}$lim ⁡ p → 0 f ( x + p ) − f ( x ) − g T p ∣ ∣ p ∣ ∣ = 0 \lim_{p{\rightarrow}0}\frac{f(x+p)-f を満たす
$$\underset{p\to 0}{}\frac{f(x+p)-f\left(x\right)-g^{TP}}{||p||}=0$$はff
と呼ばれます$f\; は$点$x$は微分可能です、この時点では$g$はffと呼ばれます$f\; は$点$x$での勾配$\nabla f\left(x\right)$ 、領域 D 上の各点xxの場合$x$には∇ f ( x ) {\nbla}f(x) があります$\nabla f\left(x\right)$が存在する場合、それは$f$は D で微分可能です

次に、一連の導出の後、おなじみの勾配公式
$$\nabla f\left(x\right)={[\begin{array}{c}\frac{\partial f(x}{\partial {\times }_{}}，\frac{\partial f(x}{\partial {\times }_{}}，...,\frac{\partial f(x}{\partial {\times }_{}}\end{array}】}^{}$$
多変量関数$${}^{の場合}$$$f\left(x\right):R^{}$xx点で${}^n$$\to$$R$$x$ ∂ 2 f ( x ) ∂ xi ∂ xji , j = 1 , 2 , . . . , n における2 次偏導関数$\frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}私、j=1、2、...、n$都存在，则
$${\nabla }^{2}f\left(x\right)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(x}{\partial {\times }_1^{}}& \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}& \cdots & \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}\\ \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}& \frac{{\partial }^{2}f(x}{\partial {\times }_2^{}}& \cdots & \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}\\ ⋮& ⋮& & ⋮\\ \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}& \frac{{\partial }^{2}f(x}{\partial {\times }_{}\partial {\times }_{}}& & \frac{{\partial }^{2}f(x}{\partial {\times }_n^{}}\end{array}\right]$$
FFになる$f\; は$点xx∇ 2 f ( x ) {\nbla}^2f(x)
のときの$x$でのヘッセ行列${\nabla }^{}$領域 D のxx${}^{における2}$$f$$($$x$$)$$x$が存在する場合、それはffと呼ばれます$f$は D 上で 2 階微分可能であり、D 上で連続であれば、このときのヘッセ行列は対称行列であることが証明できますf: R n → R mf:R^n{\rightarrow}R^
のとき$f:R^n\to R^m$がベクトル値関数の場合、そのヤコビ行列$J\left(x\right)\in R^{m\ast n}$、彼の i 行目の成分$f_{}\left(x\right)$勾配の配置、すなわち
$$J(\times )=\left[\begin{array}{cccc}\frac{\partial f_{}(x}{\partial {\times }_{}}& \frac{\partial f_{}(x}{\partial {\times }_{}}& \cdots & \frac{\partial f_{}(x}{\partial {\times }_{}}\\ \frac{\partial f_{}(x}{\partial {\times }_{}}& \frac{\partial f_{}(x}{\partial {\times }_{}}& \cdots & \frac{\partial f_{}(x}{\partial {\times }_{}}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f_{}(x}{\partial {\times }_{}}& \frac{\partial f_{}(x}{\partial {\times }_{}}& & \frac{\partial f_{}(x}{\partial {\times }_{}}\end{array}\right]$$
勾配$\nabla f($ __ ^n{\rightarrow}R$の$ヤコビアン$行列$
)
$f:R^n\to R$は連続微分可能、$p\in R^n$，那么
$$f(x+p)=f\left(x\right)+\nabla (\times +tp{）}^{T}p$$
其中$0<t<1$、さらに言えば$f$は 2 階連続微分可能です
$$f(x+p)=f\left(x\right)+\nabla f(x{)}^{Tp}\_+\frac{}{2}{p}^{た}{\nabla }^{2}f(x+tp)p$$
その他$0<t<1$

最後に、この章では、特殊なタイプの微分可能関数である勾配リプシッツ連続関数も紹介します。このタイプの関数は、多くの最適化アルゴリズムの収束を証明する上で重要な役割を果たします。勾配リプシッツ連続関数 定義: 与えられた微分可能
関数$f$ 、 L > 0 L>0が存在する場合$L>0$、任意の$\times 、y\in domf$には ($ド・ム・ファ$はffです$f$の定義域
$$||\nabla f\left(x\right)-\nabla f\left(y\right)||\le L||x-y||は$$ff
と呼ばれます$f$は勾配リプシッツ連続で、対応するリプシッツ定数は$L$、$L$ - スムーズまたはグラデーション$L$ - リプシッツ連続体
勾配リプシッツ連続体は、$\nabla f\left(x\right)$は独立変数xx_ x ) f(x)の$変化$
によって制御されます$f\left(x\right)$は二次関数の上限によって制御できます。それには$f\left(x\right)$は二次関数的にしか増加しません
。もう 1 つの帰結は、 if$f$は勾配リプシッツ連続であり、大域最小値${バツ}^{\ast }$、二次方程式の上限を使用して$f\left(x\right)-f\left(x^{\ast }\right)$、$x\; は$領域内の任意の点になります
$$\frac{}{2L\_}||\nabla f\left(x\right)|{|}^2\le f(x)-f(x^{\ast })$$
ここでは具体的な証拠は書きませんが、さらに詳しく知りたい場合は、Baidu または私たちで議論してください。

2.2.2 行列変数の関数の導関数

多変量関数の勾配の定義は、変数がm ∗ nm*nの行列である場合にも拡張できます。$メートル\ast n$マトリックスXX$X$を引数とする$f\left(X\right)$、行列$G\in R^{m\ast n}$满十分
$$\underset{V\to 0}{}\frac{f(X+V)-f\left(X\right)-<G、V}{||V||}=0$$
ここで、$||\cdot ||\; は$、行列ベクトル関数ffXXの$f$$X$处$Fr\_\acute{ある}chet$は微分可能であるため、G は$f$在$Fr\_\acute{ある}chet$は、微分可能な意味での勾配です。実際、行列変数関数$f\left(X\right)$の勾配は、その偏り数を使用して、次のように表すこともできます
$$\nabla f\left(x\right)=\left[\begin{array}{cccc}\frac{\partial f}{\partial {\times }_{}}& \frac{\partial f}{\partial {\times }_{}}& \cdots & \frac{\partial f}{\partial {\times }_{1n}}\\ \frac{\partial f}{\partial {\times }_{}}& \frac{\partial f}{\partial {\times }_{}}& \cdots & \frac{\partial f}{\partial {\times }_{2n\_}}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f}{\partial {\times }_{メートル}}& \frac{\partial f}{\partial {\times }_{}}& & \frac{\partial f}{\partial {\times }_{}}\end{array}\right]$$
$Fr\_\acute{ある}chet$微分可能性の定義と使用はしばしば面倒なので、別の定義があります -----$G\widehat{ある}teaux$は微分可能です
定義:$f(\_\_$ _$G\in R^{}$任意の方向の${}^m$${}^{\ast }$${}^n$$V\in R^{m\ast n}$满足
$$\underset{t\to 0}{}\frac{f(X+tV）\_-f(X)-t<G、V}{t}=0$$はff
と呼ばれますfXX$について$_$X$は$G\widehat{ある}teaux$、Gff$に$$て$$f$在$G\widehat{ある}$微分可能な意味での$t$$e$$a$$ux$
if$Fr\_\acute{ある}chet$G a ^ teaaux G\hat{a}teauxを推定できます。$G\widehat{ある}teaux$は微分可能であり、その逆も同様ですが、この本で説明する関数は基本的に$Fr\_\acute{ある}chet$は微分可能であるため、現時点で議論する必要はありません。〜、統一行列変数関数 f ($fの導$関数$($$\frac{\partial f}{\partial X}$または$\nabla f\left(X\right)$

例を挙げると、何に役立つかわからない場合のために、
一次関数を考えてみましょう: $f\left(X\right)=Tr\left(A{X}^{T}B\right)$，そのうち$A\in R^{p\ast n}、B\in R^{m\ast p}、X\in R^{}$任意の方向の${}^m$${}^{\ast }$${}^n$$V\in R^{m\ast n}$および$t\in R$，有
$$\underset{t\to 0}{}\frac{f(X+tV）\_-f(X}{t}=\underset{t\to 0}{}\frac{Tr\left(A\right(X+tV）\_{}^{TB}\_-Tr\left(A{X}^{TB}\right)}{t}$$
$$=Tr(AV{\_}^{TB}）\_=<ＢＡ、\_V>$$
したがって、$\nabla f\left(X\right)=BA$
これを知って疑問に思ったのは、$Tr(AV{\_}^{TB}）\_=<ＢＡ、\_V>$なぜですか? T r (AVTB) = T r (BAVT) Tr(AV^TB)=Tr(BAV^T) であることが
わかります。$Tr(AV{\_}^{TB}）\_=Tr(BAV{\_}^T)$これはトレースの基本特性です、$BA$和$V$はすべて$メートル\ast n$の場合、この時点では別のプロパティがあります。C と D が同じサイズの行列であると仮定すると、$Tr(A^{TB}）\_=<あ、B>$
ここで Zhihu jordi を参照します。これは彼の 3*3 行列の導出です。
リンク: https://www.zhihu.com/question/274052744/answer/1521521561T r (AVTB ) = T r

を導出できます。$Tr(AV{\_}^{TB}）\_=Tr(V^{て}、BA)=<ＢＡ、\_V>$ラ

2.2.3 自動微分

自動微分は、コンピューターの導関数を使用するアルゴリズムであり、ニューラル ネットワークでは、入力データaaを順伝播によって渡します。$a\; は$y ^ \hat{y}に変換されます$y$、つまり入力データ$a$は初期情報として使用され、隠れ層の各ニューロンに渡され、処理後の出力は$y$。
出力を比較して$y$実ラベル y を使用して、損失関数$f\left(x\right)$、ここで$x\; は$すべてのニューロン応答のパラメーター セット、$f\left(x\right)$は通常、複数の関数の複合形式です。最適なパラメータを見つけるには、$x$はf ( x ) f(x)になりますしたがって、ニューロン パラメーターxx$についてf$$($$x$$)は最小値に達します。$$x$の計算避けられません
。このセクションでは、ニューラル ネットワークの順方向伝播と逆方向導出について説明します。自動微分には、順方向モードと逆方向モードの 2 つの方法があります。順方向モードは、変数伝播と変数導出です。逆方向モードは、順方向伝播と層ごとの導出 明らかに、現在誰もが学んでいるのは、複雑さが低く、計算コストが低い逆方向モードです。

2.3 一般化された実数値関数

数学的解析の過程で関数の基本的な概念を学びました 関数はベクトル空間$R^n$からデータフィールド$最適化の分野におけるR$マッピングでは、関数の変数に対して inf(sup) 演算を実行することが多く、その結果、関数の値が無限になる可能性があります。最適化問題をよりわかりやすく説明するには、次のようにする必要があります。関数の定義は、ある種の拡張を受けます。
では、一般化された実数値関数とは何でしょうか? R ˉ = R ⋃ ∞ \bar{R}=R{\bigcup}{\infty} と
します$\bar{R}=R\bigcup \infty \; が$一般化された実数空間である場合、マッピング$f:R^{ん}\to \bar{R}$は一般化実数値関数と呼ばれ、値の範囲にさらに 2 つの特別な値 (プラス無限大とマイナス無限大) があることがわかります。

2.3.1 適切な機能

適切な関数: 一般化された実数値関数$f$と空でない集合$X$ 、 x ∈が存在する場合f ( x ) < + ∞ f(x)<+{\infty}となる$x$$\in$$X$$f\left(x\right)<+\infty$、および任意の$x\in X$、すべて$f\left(x\right)>-\infty$の場合、関数$f$コレクション$X$は適切です。
要約すると、適切な関数$f$に関しては、少なくとも 1 つの値が正の無限大ではなく、すべての値が負の無限大ではありません。最適化問題の場合、適切な関数は、いくつかの興味のない関数を削除し、より合理的な関数クラスから問題を検討するのに役立ちます。これは簡単に理解できるはずです。最小値の問題について議論しましょう。その値の少なくとも 1 つは正の無限大にはなりません。そうでない場合は、最小値を取得する方法が決まり、すべての値が負の無限大にはなりません。そうでない場合は、何の意味があるのでしょうか。それについて議論することですよね？本書で特に指定がない限り、定理で議論されている関数はすべて適切な関数であることに
同意します。
$f$、その定義域を指定
$$ドmf\_\_=\{x|f\left(x\right)<+\infty \}$$
というのは、適切な関数の最小値を正の無限大で取ることは確かに不可能だからです ^^

2.3.2 クローズド関数

閉関数は、一般化された実数値関数のもう 1 つの重要なタイプです。閉関数は、連続関数の一般化として見ることができます。
閉関数について説明する前に、最初にいくつかの基本概念を紹介します。

1. 下位レベルセット

下位レベルの集合は、実数値関数の値を記述するための重要な概念です。この目的のために、次の定義があります
( $\alpha$ - 下位レベルのセット) 一般化された実数値関数の場合:$f:R^{ん}\to \bar{R}$
$$C_{}=\{x|f\left(x\right)\le \alpha \}$$はff
と呼ばれます$f$の$\alpha$ - より低いレベルのセットは、
値が$\alpha$そうですね、$C_{}$null ではない場合、 f ( x ) f(x)であることがわかります。$f\left(x\right)$の大域的最小点は$C_{}$、外側の点を考慮する必要はありません。

2. 上の写真

上の図は、集合の観点から関数の特定のプロパティを示しています。次のように定義されています:
一般化された実数値関数$f：R^{ん}\to \bar{R}$
$$エピファ\_\_\_=\{(x,t)\in R^{n+1}|f\left(x\right)\le t\}$$

人間の言葉で言えば、関数$f$より上のものは$f$の多くのプロパティは、$epif\; は$、epif EPIFを通じて取得できます。$epif$ ffのいくつかのプロパティ$f$の性質

3. 閉じた関数と下位半連続関数

閉じた関数: $f:R^{ん}\to \bar{R}$は一般化された実数値関数です。$epif$は閉集合なので、$f$は閉関数です。
下位の半連続関数: 一般化された実数値関数$f:R^{ん}\to \bar{R}$ 、 x ∈ R nx{\in}R^nの場合$x\in R^n$，有
$$\underset{y\to x}{\mathrm{リム}}f\left(y\right)\ge f\left(x\right)$$
次に$f\left(x\right)$は下位半連続関数です

この下限が分からない場合は、テキストを直接読んだ方が良いと思います。

実際には、 x 0 x_0にあります。${バツ}_{}$の近傍で、 if f( ${バツ}_{}$) から正の小さな値を引いたもので、近傍内のすべての$f\left(x\right)$では、不連続点では半連続性が低いと言われています。

下の写真のようであれば、

x${バツ}_{}$少しでも左に行くと急に下がってしまい、${バツ}_{}$近所の$x$比$f\left(x_{}\right)-\epsilon$が大きく、最初の画像であれば${バツ}_{}$の左側は急激に下がらない、それがほぼ意味するところです

一般化された実数値関数$f:R^{ん}\to \bar{R}$。この場合、次の命題は等価です:
(1)$f\left(x\right)$の任意$\alpha$ - 下位レベルの集合はすべて閉集合です
(2)$f\left(x\right)$は下半連続です
(3)$F(\_\_$ _
_
_ の場合、集合は閉じられます。
実際、閉じた関数と下位の半連続関数は同等であることがわかります。将来的には、定義が 1 つだけ現れることがよくあります。閉じた関数 (下位の半連続関数) 間の単純な
演算半連続) 関数は元のプロパティを維持します
(1) 加算、$f$と$g$は適切な閉関数であり、$ドmf\bigcap ドmg\_\_\_\_\_\ne \varnothing$そして$f+g$も閉関数であるため、負の無限大 + 正の無限大ff
の場合のアフィン写像の合成$f$が閉関数の場合、$f(Ax\_+b)$すべての関数f α f_{\alpha}閉関数 (3) の
上限も取得します。$f_{}$が閉じた関数の場合、$補足\_{\_}_{}{f}_{}\left(x\right)$も閉関数です。

2.4 凸集

2.4.1 凸集合の関連定義

正直、凸集合について聞いたことはありますが、具体的な定義は分かりませんでした、今から勉強しましょう~ R n R^n
の場合$R^n$の 2 点${バツ}_{}\ne x2$，形如
$$y=\theta {\times }_{}+(1-私）{\times }_{}$$
通過点を形成する点${バツ}_{}$そして${バツ}_{}$直線、$0\le \theta \le 1$、このような点は接続点${バツ}_{}$x 2 x_2付き${バツ}_{}$線分を定義します
:セットCCを通る場合$C$の任意の 2 点間の直線はCCに$C$内ではCCと呼ばれます$C$はアフィン集合です。つまり、
$${バツ}_{}、{バツ}_{}\in C⟶\theta x_{}+(1-私）{\times }_{}\in C,\forall \theta \in R$$
連立一次方程式$あ\times =b$の解集合はアフィン集合ですが、逆に、任意のアフィン集合は一次方程式系の解集合として表現できます。

では、凸集合の定義は何でしょうか?
凸セット：セット$C$の任意の 2 点の線分はCCにあります。$C$内ではCCと呼ばれます$C$は凸集合、すなわち
$${バツ}_{}、{バツ}_{}\in C⟶\theta x_{}+(1-私）{\times }_{}C\_\_\_\_\_\_\_$$
_
_$$=\; \theta \; 1\; x\; 1\; +\; \theta \; 2\; x\; 2\; +\; \cdots \; +$$
$$バツ={私}_{}{バツ}_{}+{私}_{}{バツ}_{}+\cdots +{私}_{}{バツ}_{}$$
$$1={私}_{}+{私}_{}+\cdots +{私}_{}、{私}_{}\ge 0、私=1、2、\cdots 、k$$
の点は${バツ}_{}、{バツ}_{}、\cdots 、{バツ}_{}$の凸組み合わせ、セット$S$の中点のすべての凸状の組み合わせのセットは$S$の凸包はconv S conv Sと表されます。$convS$、つまりconv S$convS$$convSに$はSS が含まれます$S$の最小凸集合

θ i ≥ 0 の場合、{\theta}_i{\ge}0 は凸組み合わせの定義から削除されます。${私}_{}\ge 0\; の$制限により、affine パッケージの概念が得られます。 Affine
パッケージ:$S$はR n R^nです$R^n$の部分集合
$$\{x|x=バツ={私}_{}{バツ}_{}+{私}_{}{バツ}_{}+\cdots +{私}_{}{バツ}_{}、{バツ}_{}、{バツ}_{}、\cdots 、{バツ}_{}\in S、{私}_{}+{私}_{}+\cdots +{私}_{}=1\}$$ affine SaffineS
として示される$一般に$、セットのアフィン パッケージは、実際には、そのセットを含む最小のアフィン セットです。$たとえば$$、$ x = θ 1 x 1 + θ 2 x 2 、 θ 1 > 0 、 θ 2 > 0 x= など$です$
。 {\theta}_1x_1+{\theta}_2x_2、{\theta}_1>0、{\theta}_2>0


$$バツ={私}_{}{バツ}_{}+{私}_{}{バツ}_{}、{私}_{}>0、{私}_{}>0$$の点を点x 1 、x 2 x_1、x_2
と呼びます${バツ}_{}、{バツ}_{}$コーンコンビネーション、 SSセットの場合$S$内の任意の点の円錐の組み合わせは$S$では、 S は凸円錐と呼ばれます

2.4.2 重要な凸集合

1. 超平面と半空間

任意の非ゼロベクトル$a$，形如$\{x|a^T\times =b\}$の集合は超平面と呼ばれ、その形式は$\{x|a^{T}x\le b\}$半空間$a\; は$、対応する超平面と半空間の法線ベクトルです。超平面はR n R^nとなります。$R^n$は 2 つの半空間に分割され、超平面はアフィン集合と凸集合であり、半空間は凸集合であるがアフィン集合ではないことが容易にわかります (これは理解していれば容易に理解できるはずです)アフィン集合と凸集合の概念)

2. 球、楕円体、円錐

球と楕円体も一般的な凸集合です。ここではこれ以上の球は紹介しません。{ x ∣ ( x − xc ) TP − 1 ( x − x ) c ) ≤ 1 } \{x|(x-x_c) のような
形状
$$\{x|(x-{バツ}_{}{)}^{TP}{\_}^{-1}(\times -\times {）}_{})\le 1\}$$
は楕円体と呼ばれます。ここで P は対称かつ正定であり、楕円体の別の表現は$\{{\times }_{}+Au||u_{}||\le 1\}$ , A は非特異正方行列
. さらに、集合を
$$\{(x,t)|||x||\le t\}$$
はノルム円錐です。ユークリッドのノルム円錐は二次円錐とも呼ばれます。ノルム円錐は凸集合です。tt を忘れ
ないでください$t$も変数です。この図を見ると、ノルム コーンについてよく理解できるはずです。Zhihu

リンク: https://zhuanlan.zhihu.com/p/126072881

3.多面体

一次方程式と不等式を満たす点の集合を多面体と呼びます。つまり、
$$\{x|Ax\le b、C\times =d\}$$
多面体は有限の半空間と超平面の交差点であるため、凸集合です。

4. (半) 正定円錐

まずは本の内容を載せておきますが、まだよく理解していないので詳しくは言えません。

2.4.3 凸性維持操作

集合が凸であることを証明するには 2 つの方法があります。1 つ目は、定義
$${バツ}_{}、{バツ}_{}\in C、0\le \theta \le 1⟶\theta x_{}+(1-\theta {\times }_{})\in C$$集合$C$は凸集合です。
2 番目の方法は、集合 C が単純な凸集合 (先ほど述べた超平面、半空間、ノルム球など) から凸性保存操作によって得られることを説明するものです。
定理 1: 複数の凸集合の積は凸集合である
定理 2:$f:R^n\to R^m$是仿射变换（$f\left(x\right)=あ\times +b、A\in R^{m\ast n}、b\in R^n$ )、その後、
(1) 凸集合は$f$の下の画像
$$Sは凸集合\to f\left(S\right)\to \left\{f\right(x)|x\in S\}は凸集合$$
(2) 凸集合は$f$の下の元の画像
$$Cは凸集合\to f^{-1}\left(C\right)\to \{x\in R^n|f\left(x\right)\in C\}は凸集合です$$
。つまり、スケーリング、変換、または投影の後でも凸集合のままです。

2.4.4 分離超平面定理

これは凸集合の重要な性質です, つまり, 素な凸集合は超平面によって分離することができます. 最も基本的な結果は分離超平面定理とそれをサポートする超平面定理です. 分離超平面定理: C と D が 2 つの素な凸集合である
場合、ゼロ以外のベクトル$a$と常熟$b$，
$${ある}^{T}x\le b、\forall x\in C、そして{、}^{T}x\ge b、\forall x\in D$$
は超平面$\{x|a^T\times =b\}$区切られた$C$と$D$

厳密な分離定理: つまり、厳密な不等号は上記で確立されています。詳細については説明しません。
サポートする超平面: 与えられた集合$C$上の${バツ}_{}$、$ある\ne 0$满足${ある}^{T}x\le a^T{\times }_{}、\forall x\in C$の場合、集合
$$\{x|a^T\times ={ある}^T{\times }_{}\}$$ CC
の場合$C$は境界点${バツ}_{}$サポート超平面
は幾何学的に言えば、この超平面は集合$C\; は$点${バツ}_{}$サポート超平面定理の接線
: C が凸集合の場合、C の境界点にサポート超平面が存在します。
この定理は実際に非常に強力な幾何学的直観を持っています。つまり、平面が与えられた後、凸集合の境界が決まります。凸セットの任意の点は、凸セットを平面上に配置するためのサポート ポイントとして使用されます。他の形状のセットには通常、このプロパティがありません。

2.5 凸関数

凸関数については誰もが聞いたことがあると思いますが、その具体的な定義を見てみましょう（私は今のところあまり知りません）

2.5.1 凸関数の定義

凸関数: 関数を$f$はdomf domfの場合に適切な関数です場の$d$$o$$m$$f$
$$f(\theta x+(1-\theta \left)y\right)\le \theta f\left(x\right)+(1-$$
すべての x 、 y ∈ domf に対する$$\theta$$$$)$$$$f$$$$($$$$y$$$$)$$$\times 、y\in domf、0\le \theta \le 1$が真であり、 ff と呼ばれます$f$は凸関数です.
直感的に言えば, 凸関数の画像上の任意の 2 点を結ぶ線分は関数画像の上にあります.

対応して, 凹関数もあります, if$-f$は凸関数なので、$f$は凸関数です。凸関数の多くのプロパティは、符号を変更するだけで凹関数に適用できます。
また、$domf$範囲、
$$f(\theta x+(1-イ）イ）<\theta f\left(x\right)+(1-\theta )f\left(y\right)$$
とし$\times 、y\in domf、バツ\ne y、0\le \theta \le 1$が真の場合、 ffと呼ばれます$f$は厳密な凸関数です。
一般的に使用される別のタイプの凸関数、強凸関数が
。定数$メートル>0$、
$$g\left(x\right)=f\left(x\right)-\frac{}{2}||\times |{|}^2$$
は凸関数なので、$f\left(x\right)$は強凸関数です。ここで$m$は強凸関数 であり、m 強凸関数とも呼ばれます。g ( x ) g(x)
とします$g\left(x\right)$を凸関数の定義に適用すると
定数$メートル>0$、任意の$\times 、y\in domf，0<私<1$ ,if
$$f(\theta x+(1-\theta \left)y\right)\le \theta f\left(x\right)+(1-i)f\left(y\right)-\frac{}{2}私(1-i)||x-y|{|}^2$$はf ( x ) f(x)
と呼ばれます。$f\left(x\right)$は強凸関数です。ここで$m$は強凸のパラメーターです。
これら 2 つの定義から、
(1) 強凸の関数から正定 2 次関数を引いたものは依然として凸です
(2) 強凸の関数は厳密に凸関数でなければなりません、$メートル=0$で凸関数に縮退します。

重要な定理: Let$f$は強凸関数で最小値があり、その最小値点は一意です。具体
的な証明は矛盾によって証明できます。非常に簡単です。最小値点$\times 、y$を強凸関数の定義に代入します
。$f$の最小値が存在することが前提です。そうでない場合、強凸関数の大域的最小点は必ずしも存在するとは限りません。

2.5.2 凸関数決定定理

凸関数を決定する最も基本的な方法の 1 つは、まず凸関数を任意の直線に限定し、次に対応する 1 次元関数が凸関数であるかどうかを決定することです。定理 1: f (x) f(
x $f\left(x\right)$は、任意の x ∈ domf 、 v ∈ R n 、 g : R → R x{\in}domf,v{\in}R^n,g:R{\rightarrow についての場合に限り、凸関数です。$x\in domf、v\in R^n、g:R\to R$，
$$g\left(t\right)=f(x+テレビ）、\_ドmg\_\_=\{t|x+tv\in domf\}$$
は凸関数です
。具体的な証明は難しくも簡単でもありません。理解したい場合は、Baidu に来て相談してください (理解するのに 20 分と 30 分かかりました TT )
以下に、実際によく遭遇する凸（凹）関数をいくつか示します。
(1) 指数関数:$e^{\times }、{}^{\_}、\_x\in R$は凸関数です
(2) べき関数:${バツ}^{(}\times \_>0)$，当$\alpha \ge 1$または$\alpha \le 0$时为凸函数
（3）负熵：$xlnx(x>0)$是凸函数
（4）所有范数都是凸函数（向量和矩阵版本）
又来一个判断的定理2：对于定义在凸集上的可微函数$f$，$f$是凸函数当且仅当
$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x),\forall x,y\in domf$$
の具体的な証明は
. この定理は, 割り切れる凸関数$f$のグラフはどの点でも常に接線の上にあるため、微分可能な凸関数$任意の点におけるf$の一次近似は、 ffとして取得できます。$f$のグローバル下限

定理 3:$f$が微分可能な関数である場合、$f$は、 domf domfの場合にのみ凸関数です。$domf\; は$凸集合であり、$\nabla f$は単調写像です。つまり、
$$(\nabla f(x)-\nabla f(y){)}^T(x-y)\ge 0,\forall x,y\in domf$$
具体证明也不说咯
推论：设$f$为可微函数，且$domf$是凸集，则
(1)$f$是严格凸函数当且仅当
$$(\nabla f(x)-\nabla f(y){)}^T(x-y)>0,\forall x,y\in domf$$
(2)$f$は、
$$(\nabla f(x)-\nabla f(y\left){)}^T\right(\times -y)\ge m||x-y|{|}^2、\forall \times 、y\in domf$$

さらに、関数が 2 階連続微分可能である場合、次の 2 階条件定理を得ることができ
ます
。$f$は凸集合上で定義された 2 次の連続微分可能な関数であり、$f\; は、$ ∇ 2 f ( x ) ≥ 0 、 ∀ x ∈ domf {\nabla^2f(x){\ge}0},{\forall}x{\in}domf の場合に限り凸関数です。
$${\nabla }^{2}f\left(x\right)\ge 0、\forall x\in domf$$
if${\nabla }^{2}f\left(x\right)>0、\forall x\in domf$、その後$fh$は厳密な凸関数です。
この数も学習でき、非常に使いやすいです。関数が 2 階の連続微分可能である場合は、通常、これを使用した方が便利です。

2.5.3 凸性保存操作

まず、関数が凸であることを証明するために使用される 3 つの方法を要約しましょう:
(1) 1 つは、定義を使用して凸性を検証する方法で、通常は関数を直線に制限します
(2) もう 1 つは、一次条件を使用し、関数を証明するための 2 次条件
(3) の凸性 3 つ目は$f$ EPIF EPIFの上のグラフ$epif$
今ff$\_$$f\; は$、いくつかの凸性を維持する操作を介して単純な凸関数から取得できます。
定理:
(1) If$f$が凸関数の場合、$\alpha f$は凸関数です。ここで、$\alpha \ge 0$
(2)$f_{}、f_{}$が凸関​​数の場合、$f_{}+f_{}$は凸関数
(3) if $f$が凸関数の場合、$f(Ax\_+b)$は凸関数
(4) if$f_{}、f_{}、...、f_{}$が凸関​​数の場合、$f\left(x\right)=マックス\{f\_{}_{}(x)、f_{}(x)、...、f_{}(x)\}\; は$凸関数です
(5) if 各$y\in A、f(x,y)$ xxについて$x$が凸関数の場合、
$$g(x)={sup}_{y\in A}f(x,y)$$
是凸函数
（6）给定函数$g:R^n\to R,h:R\to R$，令$f(x)=h(g(x))$若$g$是凸函数，$h$是凸函数且单调不减，那么$f$是凸函数，若$g$是凹函数，$h$是凸函数且单调不增，那么$f$は凸関数
(7) 与えられた関数$g:R^n\to R^k、h:R^k\to R$，
$$f\left(x\right)=h\left(g\right(x))=h\left(g_{}\right(x)、g_{}(x)、...、g_{}(x))$$
若木$g_{}$は凸関数です、$h$は凸関数であり、各成分に関して単調非減少である場合、$f$是凸函数，若$g_i$是凹函数，$h$是凸函数且单调不增，那么$f$是凸函数
（8）若$f(x,y)$关于$(x,y)$整体是凸函数，$C$是凸集，则
$$g(x)=in{f}_{y\in C}f(x,y)$$
是凸函数
（9）定义函数$f:R^n\to R$的透视函数$g:R^n\ast R\to R$
g ( x , t ) = t f ( x t ) , d o m g = { ( x , t ) ∣ x t ∈ d o m f , t > 0 } g(x,t)=tf(\frac{x}{t}),domg=\{ {(x,t)}|\frac{x}{t}{\in}domf,t>0\} g(x,t)=tf(tx​),domg={ (x,t)∣tx​∈domf,t>0}
若f是凸函数，则g是凸函数

2.5.4 凸函数的性质

1.连续性

まず最初に、これまでの定理や証明は凸関数が連続関数であることを示していませんが、次の定理は定義領域内の凸関数の内点が連続であることを示していることを説明します。 R n → ( − ∞ , +
∞ $f:R^n\to (-\infty ,+\infty )$は、任意の点x 0 ∈ intdomf x_0{\in}intdomfに対する凸関数です。${バツ}_{}\in tdomfには$ffがあります$f$ at${バツ}_{}$は連続です、ここでは$intdomf\; は$ドメイン$domf$の内点 内点の
定義: この点は、定義域に完全に含まれる領域に存在します

。 系:$f\left(x\right)$は凸関数であり、$domf\; が$開集合の場合、f ( x ) f(x)domf domfの$f$$($$x$$)$$domf$が連続である
理由は非常に単純で、開集合内の点はすべて内点であるからです。

2. 凸レベルセット

凸関数の下位レベルの集合はすべて凸集合です。つまり、次の結果が得られます。f ( x ) f(x)
とします。$f\left(x\right)$が凸関数の場合、f (x) f(x)すべてのα {\alpha}に対する$f$$($$x$$)$$\alpha$ - 下位レベルセット$C_{}$は凸集合です。
前の内容を復習するために、証明しましょう
。x ${バツ}_{}。{バツ}_{}\in C{\_}_{}$、任意の$\theta \in (0,1)$ 、最初はf (x) f(x)に従って$f\left(x\right)$ fの無限大
$$f(\theta x_{}+(1-私）{\times }_{})\le \theta f(x_{})+(1-i\left)f\right(x_{})\le \theta \alpha +(1-私）a=\alpha これ$$
で認定は完了です、それでも分からない場合は戻って確認してください。

3. 二次方程式の下限

強凸関数は二次下限
(二次下限) の性質を持ちます。$f\left(x\right)$はパラメータ$m$が微分可能な強凸関数の場合、次の不等式が成り立ちます:
$$f\left(y\right)\geqq f\left(x\right)+\nabla f\left(x{)}^T\right(y-\times ）+\frac{}{2}||y-\times |{|}^2、\forall x、y\in domf$$
の証明はここでは与えられません. 二次下限を使用すると, 微分可能な強凸関数の下位レベルのセットがすべて有界であることが簡単に推測できます. 系: ff と
し$f$が微分可能な強凸関数である場合、$f$のすべての$\alpha$ - 下位レベルのセットは有界です

2.6 共役関数

2.6.1 共役関数の定義と例

共役関数は凸解析における重要な概念です
共役関数の定義: 任意の適切な関数$f$の共役関数は、
$$f^{\ast }\left(y\right)\le sup\{y\_{}^T\times -f(x)\}、x\in domf$$
は単なる一次関数$y^{T}x$与f(x)的最大差值
对于每一个y，我们看图应该就很好明白了

设$f$为$R$上的适当函数，对任何函数$f$都可以定义共轭函数，共轭函数$f^{\ast }$恒为凸函数
借用一下知乎上对共轭函数的作用的说明

对于共轭函数，我们有以下重要的不等式
Fenchel不等式
$$f(x)+f^{\ast }(y)\ge x^{T}y$$
以下我们给出一些常见函数的共轭函数

1.二次函数

考虑二次函数
$$f(x)=\frac{1}{2}{x}^{T}Ax+b^{T}x+c$$
(1)强凸情形（$A>0$）:
$$f^{\ast }\left(y\right)=\frac{}{2}(y-b{)}^{TA}{\_}^{-1}(y-b)-c$$
(2) 一般的な凸の場合 ($A\ge 0$ )：
$$f^{\ast }\left(y\right)=\frac{}{2}(y-b{)}^{TA}{\_}^{+}(y-b)-c、ドmf\_{\_}^{\ast }=R(A)+bここで$$
R(A) は A の画像空間です。
画像空間は値領域です。この${あ}^{+}$の意味が未だに分かりません

2. 凸集合の指示関数

给定凸集C，其示性函数为
$$I_C(x)=\{\begin{array}{ll}0& \text{x∈C}\\ +\infty & \text{x∈/C}\end{array}$$
可知对应的共轭函数为
I c ∗ ( y ) = s u p x { y T x − I C ( x ) } = s u p x ∈ C y T x I_c^*(y)=sup_x\{y^Tx-I_C(x)\}=sup_{x{\in}C}y^Tx Ic∗​(y)=supx​{ yTx−IC​(x)}=supx∈C​yTx
这里$I_C^{\ast }$又称为凸集$C$的支撑函数

3.范数

ノルムの共役関数は、その単位双対ノルム球の代表関数です。つまり、$f\left(x\right)=||x||$ ,则
$$f^{\ast }(\times )=\{\begin{array}{ll}0& \text{∣∣ y ∣ ∣∗≤1}\\ +& \text{∣∣ y ∣ ∣∗>}\end{array}$$

2.6.2 二次共役関数

(二次共役関数) 任意の関数$f$の二次共役関数は、
$$f^{＊＊}(\times )=補足\_{\_}_{y\in dom{f}^{}}サップ\{x\_\_{}^{Ty}\_-f^{\ast }(y)\}$$
明らかに$f^{\ast \ast \; は}$常に閉じた凸関数です (どこが明らかかはわかりませんが)。フェンケルの不等式から、
$$f^{\ast \ast }\left(x\right)\le f\left(x\right)、\forall x$$
または同等の、$エピファ\_\_\_=エピファ\_\_{\_}^{***}$
定理:$f\; が$閉じた凸関数である場合、
$$f^{＊＊}(\times )=f\left(x\right)、\forall x$$
または同等の、$エピファ\_\_\_=エピファ\_\_{\_}^{***}$
具体的な証明についてはここでは詳しく説明しません。

2.7 勾配

2.7.1 部分勾配の定義

微分関数の勾配については前に紹介しましたが、一般関数の場合、あらかじめ定義した勾配が必ずしも存在するわけではなく、凸関数の場合は、勾配の一次性質から類推して、部分勾配(subgradient)の概念を導入することができます。$f$は適切な凸関数、$x$はドメイン$domf$内の点$g\in R^n$满十分
$$f\left(y\right)\geqq f\left(x\right)+g^T(y-x)、\forall y\in domf$$はgg
と呼ばれ$$ます$$$g$は関数$f\; は$点xxさらに、$x$
$$\partial f\left(x\right)=\{g|g\in R^n、f\left(y\right)\geqq f\left(x\right)+g^T(y-x)、\forall y\in domf\}$$
为$f$在点$x$处的次微分

可以看出，次梯度实际上借鉴了凸函数判定定理的一阶条件，定义次梯度的初衷之一也是希望他具有类似于梯度的一些性质
从次梯度的定义可以直接推出，若$g$是$f(x)$在$x_0$处的次梯度，则函数
$$l(x)=f(x_0)+g^T(x-x_0)$$
为凸函数$f(x)$的一个全局下界，此外，次梯度$g$可以诱导出上方图$epif$在点$(x,f(x))$处的一个支撑超平面
接下来一个问题就是，次梯度在什么条件下是存在的？实际上对一般凸函数$f$而言，$f$未必在所有的点处都存在次梯度，但对于定义域中的内点，$f$在其上的次梯度总是存在的
定理：设$f$为凸函数，$domf$为其定义域，如果$x\in intdomf$，则$\partial f\left(x\right)$は空ではない
部分勾配であり、ある時点では微分不可能な関数として理解できます。この場合、その点で関数の可能なすべての勾配の範囲を表す部分勾配のセットを計算できます。

2.7.2 部分勾配の性質

凸関数$f\left(x\right)$の部分勾配と部分微分には多くの有用な特性があります。次の定理は、部分微分$\partial f\left(x\right)$は、特定の条件下で閉じた凸集合の
(定理)$f$は凸関数、$\partial f\left(x\right)$には次の特性があります:
(1) 任意の$x\in domf$，$\partial f(x)$是一个闭凸集（可能是空集）
（2）如果$x\in intdomf$,则$\partial f(x)$为非空有界集
PS：闭集：一个包含其所有极限点的集合（一个补集为开集的集合）
证明此处略

当凸函数$f(x)$在某点处可微时，$\nabla f(x)$就是$f(x)$在该点处唯一的次梯度
即设$f\left(x\right)$在${バツ}_{}\in intdomf$が微分可能である場合、
$$\partial f\left(x_{}\right)=\{\nabla f(x_{})\}$$

定理 (部分勾配の単調性): $f：R^n\to R$は凸関数$\times 、y\in domf$，则
$$(あなた-v{)}^T(\times -y)\ge 0$$
其中$u\in \partial f\left(x\right)、v\in \partial f\left(y\right)$
の証明は非常に簡単です

閉じた凸関数 (つまり、凸半連続関数) の場合、部分勾配にもある程度の連続性があります。
定理: $f\left(x\right)$は閉じた凸関数であり、$\partial f\left(x\right)$点xxシーケンスxk → x ˉ x^k{\rightarrow}\bar{x}$の場合、\; xの近くに存在し、空ではない$${バツ}^k\to \overline{バツ}$，$g^k\in \partial f(x^k)$为$f(x)$在点$x^k$处的次梯度，且$g^k\to \bar{g}$,则$\bar{g}\in \partial f(\bar{x})$
证明有用到那个连续性，这里略

2.7.3 凸函数的方向导数

在数分中，我们知道方向导数的概念，设$f$为适当函数，给定点$x_0$以及方向$d\in R^n$、方向導関数 (存在する場合) は次のように定義されます
$$\underset{t\downarrow 0}{}\varphi \left(t\right)=\underset{t\downarrow 0}{}\frac{f(x_{}+td)-f(x_{}}{t}$$
ここで$t\downarrow 0\; は$ttを意味します凸関数f ( x ) f(x)$の場合、\; t\; は0\; に向かって単調減少します。$$f\left(x\right)$ 、 ϕ ( t ) {\phi(t)}を知るのは簡単です$\varphi \left(t\right)$ ($(0,+\infty )$上是单调不减的，上述此时极限总是存在（可以为无穷），所以凸函数总是可以定义方向导数
定义（方向导数）：对于凸函数$f$，给定点$x_0\in domf$以及方向$d\in R^n$，其方向导数定义为
$$\partial f(x_0;d)=\underset{t>0}{\inf }\frac{f(x_0+td)-f(x_0)}{t}$$
方向导数可能是正负无穷，但在定义域的内点处方向导数是有限的
即设$f\left(x\right)$は凸関数、${バツ}_{}\in intdomf$の場合、任意の$d\in R^n，\partial f(x_{};d)$限定

凸関数の方向導関数と部分勾配の間には強い関係があります。次の結果は、凸関数f ( x ) f(x)がddに対する$f$$($$x$$)$$d$ ∂ f ( x ; d ) {\partial}f(x;d)の方向導関数$\partial f(x;d)$はまさに$f\; は$点$x$处的所有次梯度与$d$的内积的最大值
定理：设$f:R^n\to (-\infty ,+\infty ]$为凸函数，点$x_0\in intdomf$，$d$为$R^n$中任一方向，则
$$\partial f(x_0;d)=\underset{g\in \partial f(x_0)}{\max }{g}^{Td}\_$$

上記の定理は、一般的なx ∈ domfx{\in}domfに適用できます。$x\in domf$は次のように一般化されます
。 定理:$f$は適切な凸関数であり、${バツ}_{}$局所微分は空集合ではないため、任意の$d\in R^n$有
$$\partial f(x_{};d)=\underset{g\in \partial f\left(x_{}\right)}{}{g}^{T}d$$
当$\partial f(x_{};d)$無限大でない場合は、上限を求めることができる

2.7.4 部分勾配の計算規則

微分不可能な凸関数の部分勾配をどのように計算するかは、最適化アルゴリズムの設計において非常に重要な問題です。定義に従って部分勾配を計算すると、一般的により複雑になります。いくつかの部分勾配の計算ルールを紹介します。このセクションではどちらもデフォルトは$x\in intdomf$

1. 基本ルール

まず、証明なしで部分勾配 (部分微分) を計算するための基本的な規則をいくつか示します
(1) 微分可能な凸関数: ffとします。ff$の場合、\; f$は凸関数です$f\; は$点$x$で微分可能である$\partial f\left(x\right)=\{\nabla f(x)\}$
(2) 凸関数の非負の線形結合:$f_{}、f_{}$は凸関数であり、
$$中では\_\_{\_}_{}\cap intdom{f}_{}\ne \varnothing$$
而$x\in intdom{f}_{}\cap intdom{f}_{}$，若
$$f\left(x\right)={ある}_{}{f}_{}(\times )+{ある}_{}{f}_{}\left(x\right)、{ある}_{}、{ある}_{}\ge 0$$
の場合、$f\left(x\right)$の次微分
$$\partial f\left(x\right)={ある}_{}\partial f_{}(\times )+{ある}_{}\partial f_{}\left(x\right)$$
(3) 線形変数置換: let$h$は適切な関数であり、関数$f$满十分
$$f\left(x\right)=h(Ax\_+b）、\forall \times \in R{\_}^m$$
其中$A\in R^{n\ast m}、b\in R\_{\_}^n$ 、 x ∗ ∈ R mx^*{\in}R^mが存在する場合${バツ}^{\ast }\in R^m$ 、 A x ∗ + b ∈ intdomh Ax^*+b{\in}intdomhとなる$あ{\times }^{\ast }+b\in intdomh$，则
$$\partial f\left(x\right)={あ}^T\partial h(Ax+b）、\forall x\in intdomf$$

2. 2 つの関数の和の部分勾配

その他の$もっとあなたに\_-ロッカフェラーの定理$は、2 つの凸関数の合計の微分を計算する方法を示します。$定理$$($$Moreau$
-Rockafellar):f 1 , f 2 : R n → ( − ∞ , + ∞ ] f_1 とします$)$$f_{}、f_{}:R^n\to (-\infty ,+\infty ]\; は$2 つの凸関数であり、任意の${バツ}_{}\in R^n$ ,
$$\partial f_{}\left({\times }_{}\right)+\partial f_{}\left({\times }_{}\right)\subseteq \partial (f_{}+f_{})\left({\times }_{}\right)$$
さらに、$中では\_\_{\_}_{}\cap intdom{f}_{}\ne \varnothing$の場合、任意の${バツ}_{}\in R^n$
$$\partial (f_{}+f_{})\left({\times }_{}\right)=\partial f_{}\left({\times }_{}\right)+\partial f_{}({\times }_{}）$$
証明は省略

3. 関数族の上限

凸関数群の最高関数が凸であることを検証するのは簡単です. 以下の重要な結果が得られます:
定理 (Dubovitskii-Milyutin) $f_{}、f_{}、\cdots 、f_{}:R^n\to (-\infty ,+\infty ]$は凸関数です。
$$f\left(x\right)=マックス\{f\_{}_{}(x)、f_{}(x)、\cdots 、f_{}(x)\}、\forall \times \in R{\_}^n$$
对${バツ}_{}\in {\cap }_{i=1}^{}中では\_\_{\_}_{}$，定义$私（{\times }_{})=\{i|f_{}({\times }_{})=f(x_{})\}$，则
$$\partial f\left(x_{}\right)=コン\cup \_\_{}_{i\in I(x_{}}\partial f_{}\left({\times }_{}\right)$$
具体的な証明は省略しており、ここで conv が何であるかが明確ではないかもしれません。以下のように

4. 固定成分を含む関数の最小値

h : R n ∗ R m → ( − ∞ , + ∞ ] h:R^n*R^m{\rightarrow}(-{\infty},+{\infty}] とします)$h:R^n\ast R^m\to (-\infty ,+\infty ]$は( x , y ) (x,y)についてです。$(x,y)$の場合、$f\left(x\right)={\mathrm{fで}}_{}h(x,y)$は約$x\in R^n$の凸関数$f\; は$点$x$における劣勾配
定理: 関数
$$f\left(x\right)=\underset{y}{}h(x,y)$$
其中
$$h:R^n\ast R^m\to (-\infty ,+\infty ]$$
是关于$(x,y)$的凸函数，对$\hat{x}\in R^n$，设$\hat{y}\in R^m$满足$h(\hat{x},\hat{y})=f(\hat{x})$，且存在$g\in R^{}$( g , 0 ) ∈ ∂ f ( x ^ ) (g,0){\in}{\partial}f(\hat{x}) となるような${}^n$$(g、0)\in \partial f\left(\widehat{バツ}\right)$，则$g\in \partial f\left(\widehat{バツ}\right)$
正直に言うと、これらは非常に抽象的なので、後で練習したほうが良いかもしれません。

5. 複合機能

複合関数の部分勾配については、次の連鎖律
定理があります。$f_{}、f_{}、\cdots 、f_{}:R^n\to (-\infty ,+\infty ]$为m个凸函数，$h:R^m\to (-\infty ,+\infty ]$为关于各分量单调递增的凸函数，令
$$f(x)=h(f_1(x),f_2(x),\cdots ,f_m(x))$$
设$z=(z_1,z_2,\cdots ,z_m)\in \partial h(f_1(\hat{x}),f_2(\hat{x}),\cdots ,f_m(\hat{x}))$，以及$g_1\in \partial f_i(\hat{x})$,则
$$g=z_1{g}_1,z_2{g}_2,\cdots ,z_m{g}_m\in \partial f(\hat{x})$$
就是$g$为$f$在点$\hat{x}$的一个次梯度
感觉就跟正常的链式法则一样

到此为此，第二章基础知识已经过完啦，当然后面的章节肯定会有用到这部分内容的，到时候再回头看巩固一下，第三章是优化建模哦！