制約なしの最適化 - 最急降下アルゴリズムと Matlab の実装

0 まえがき

  最近忙しすぎて更新が少し遅くなってしまいました。この記事では、一般的に使用されるアルゴリズム、つまり数値解析で言及される最急降下法について更新します。この記事では、最初に勾配の概念を確認し、次に最急降下法について説明し、最後に例を通じてアルゴリズムを理解し、コード作成を実装します。

この記事を読んで何か得るものがあれば幸いです。！！！
次の記事: Matlab のセルフコンパイルされたヤコビ行列 (jacobi) 関数と公式のヤコビ行列 (ヤコビ行列) 関数の比較と革新

今回は、事前にいくつかの matlab 関数を使用する必要があります

Matlab バージョン: 2020a、2022a、(2022.6.5本人Matlab版本更新到了2022a)
字幕は matlab2022b バージョンでは使用できず、直接suptitleに変更されます。sgtitle

1. ハンドル関数（function_handle）の使用¹ ——f=@(变量名) 函数表达式
2. ^{matlabFunction 2}の使用
3. ノルム関数ノルム
4. 3次元描画：メッシュ、等高線：等高線、グリッド生成：メッシュグリッド
5. 各フレーム画像の取得：getframe、更新：drawnow、一時停止遅延：pause（これらは理解として使用できます）

1 数学の知識

  この最急降下法を理解するには、ある程度の数学的知識が必要なので、最初に数学的知識を復習しましょう。

必看：学生が数学の知識を十分に理解していない場合は、最初のセクションの内容をすべて正直に読むことをお勧めします。そうしないと、後で公式の導出で混乱することになります。

1.1 勾配の概念

この概念の詳細な説明は参考文献³にあります。勾配の概念は次のとおりです。

  梯度：はベクトルであり、この点での関数の方向導関数がこの方向に沿って最大値を取得することを示します。(1) サイズの場合: 変化率が最大になります (勾配の係数); (2) 方向の場合: この点で関数はこの方向 (勾配の方向) に沿って最も速く変化します⁴。

  定義: z = f ( x , y ) z = f(x,y)とします。$z=f(x,y)$点$P_{}({\times }_{}、y_{})$偏導関数$f_{バツ}^{}({\times }_{}、y_{})$和$f_y^{}({\times }_{}、y_{})$ , 则称向量$\left\{f_{バツ}^{}\right({\times }_{}、y_{}）、f_y^{}({\times }_{}、y_{})\}$である$f(x,y)$在$P_{}({\times }_{}、y_{})$として表され、$${\nabla f|}_{P_{}}、{\nabla z|\_\_}_{P_{}}、{\mathrm{卒業生}|}_{P_{}}\text{ また }{\mathrm{グラーツ}|}_{P_{}}$$
$$\therefore {\nabla f|}_{P_{}}={\mathrm{卒業生}|}_{P_{}}=\left\{f_{バツ}^{}\right({\times }_{}、y_{}）、f_y^{}({\times }_{}、y_{})\}$$

ここで$\nabla$ (ナブラ)算子：$$\nabla =\frac{}{\partial \times }私+\frac{}{\partial y\_}j$$

1.2 勾配関数

  定義: f ( x , y ) f(x,y)の場合$f(x,y)$ DD$D$のどこにでも偏導関数がある$\nabla f\_=\left\{f_{バツ}^{}\right(x,y)、f_y^{}(x,y)\}$である$f(x,y)$ D の勾配関数

(1) 定義: $$|\nabla f|=\sqrt{{\left[f_{バツ}^{}(x,y)\right]}^2+{\left[f_y^{}(x,y)\right]}^2}$$
(2) 勾配の方向:

  设$v=\{v_{}、v_{}\}(|v|=1)\; が$任意の方向である場合、$\nabla f$と$v$の$\theta$有：$$\begin{array}{rl}{\frac{\partial f}{\partial v\_}|}_{P_{}}& =f_{バツ}^{}\left({\times }_{}、y_{}\right)v_{}+f_y^{}\left({\times }_{}、y_{}\right)v_{}\\ & =\left\{f_{バツ}^{}\left({\times }_{}、y_{}\right)、f_y^{}\left({\times }_{}、y_{}\right)\right\}\bullet \left\{v_{}、v_{}\right\}\\ & ={\nabla f|}_{P_{}}\bullet v=|\nabla f{|}_{P_{}}|\cdot |v|\mathrm{コス}\end{array}$$
∣ v ∣ = 1 |v|=1なので$|v|=1$したがって、上の式は次のようになります。$\frac{\partial f}{\partial v\_}{|}_{P_{}}=|\nabla f{|}_{P_{}}|\mathrm{コス}私$

補足知識（高校内容）: 既知の 2 つのベクトル$\overrightarrow{v_{}}=(、\_b）、\overrightarrow{v_{}}=(c、d)$、次に 2 つのベクトルの内積:$v_{}{v}_{}=ac\_+bd=|\overrightarrow{v_{}}||\overrightarrow{v_{}}|\mathrm{コス}\theta$、ただし:$\mathrm{コス}私=\frac{ac+b}{|\overrightarrow{v_{}}||\overrightarrow{v_{}}|}$

$\therefore$点$P_{}$vvの方向$v$と勾配の方向$\nabla f{|}_{P_{}}$角度は$最大値は0$で得られます。これは、関数の値が勾配方向に沿って最も速く変化することを証明します。また、この式は、勾配の⁵が、指定された点で関数が最も速く上昇する方向であることを証明します。勾配の反対方向は当然、関数が最も減少する方向です。高速方向⁶:

• 点$P_{}$勾配方向に沿って歩き続けると関数値が増加します
• 当 $私=180°は$勾配の逆方向に歩くことを意味し、関数値は減少します
• 勾配方向に垂直な場合、関数値は変化しません。つまり、等高線です。

以上三个总结之后会用到, そして最急降下法のアルゴリズム説明が始まります。

1.3 ヘッセ行列

  グラデーションの効果は、その変化を表すベクトル場を与えることです。したがって、勾配と微分はむしろファミリーのようなものだと思います。二次近似に移ります: $$Q(\times )=f\left({\times }_{}\right)+f^{』}\left({\times }_{}\right)\left(\times -{バツ}_{}\right)+\frac{}{2}{f}^{「」}\left({\times }_{}\right){\left(\times -{バツ}_{}\right)}^2$$これを多変量関数に拡張したい場合は、前の部分を除いて同様の状況になるはずだと考えます。$L(x,y）=ある+b({\times }_{}、y_{})+c(x_{}、y_{})$の場合、二次部分を追加します:$$d(x-{バツ}_{}{)}^2+そして(x-{バツ}_{}\left)\right(y-y_{})+f(y-y_{}{)}^2$$
$$\begin{array}{c}Q(x,y）=f\left({\times }_{}、y_{}\right)+f_{}\left({\times }_{}、y_{}\right)\left(\times -{バツ}_{}\right)+f_{}\left({\times }_{}、y_{}\right)\left(y-y_{}\right)\\ +\frac{}{2}{f}_{}\left({\times }_{}、y_{}\right){\left(\times -{バツ}_{}\right)}^2+f_{ｘ}\left(\times -{バツ}_{}\right)\left(y-y_{}\right)+\frac{}{2}{f}_{}\left({\times }_{}、y_{}\right){\left(y-y_{}\right)}^{}\end{array}$$
類推または計算を通じて、上記の 2 次近似の結果を得ることができます。次に、二次近似のベクトル形式を導出することができます。$$Q(\times )=f\left({\times }_{}\right)+\nabla f\_\left({\times }_{}\right)\cdot \left(\times -{バツ}_{}\right)+\frac{}{2}{\left(\times -{バツ}_{}\right)}^{T}H\left({\times }_{}\right)\left(\times -{バツ}_{}\right)$$
ここで、$H$はヘッセ行列 :$$\nabla (\nabla f)=H=\left[\begin{array}{cc}\frac{\partial f}{\partial {\times }^2}& \frac{\partial f}{\partial x\partial y}\\ \frac{\partial f}{\partial y\partial x}& \frac{\partial f}{\partial y{\_}^2}\end{array}\right]$$
もちろん、より高い次元まで推論することもできます:$$H=\left[\begin{array}{cccc}\frac{{\partial }^{2f}}{\partial {\times }_1^{}}& \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}& \cdots & \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}\\ \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}& \frac{{\partial }^{2f}}{\partial {\times }_2^{}}& \cdots & \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}& \frac{{\partial }^{2f}}{\partial {\times }_{}\partial {\times }_{}}& & \frac{{\partial }^{2f}}{\partial {\times }_n^{}}\end{array}\right]$$ヘッセ行列は対称行列でなければなりません

2 最急降下法

  上記の勾配の知識を復習することで、このアルゴリズムをもう一度見ても迷うことはなくなるでしょう。最速の勾配降下法: 解く問題は制約のない最適化問題であり、いわゆる制約のない最適化問題は、次の最小値を見つけるなど、制約なしで目的関数を解くことです: minf ( x ) min f $最小f\left(x\right)$

ここで、関数$f:R^n\to R$ .

このような問題の解決は、最適条件法と反復法という 2 つのカテゴリに分類できます。

2.1 コンセプト⁷

最急降下法 (最急降下法) は、勾配降下法をより具体的に実装したもので、各反復で適切なステップ サイズ α ${ある}_{}$、目的関数の値を最小にすることができます。

各反復では、勾配の逆方向に沿って、常に a x ( k + 1 ) = xk − α k ⋅ ∇ f ( x ( k ) ) x^{(k+1)} = x^k - を見つけることができます。${バツ}^{(k+1)}={バツ}^k-{ある}_{}\cdot \nabla f\left(x^{\left(k\right)}\right)$、この方向では$f\left(x^{(k+1)}\right)$がデフォルトの場合、$${ある}_{(k}=\mathrm{アルグミン}f({\times }^k-ある\cdot \nabla f\_\left({\times }^{\left(k\right)}\right)\_$$

次に投稿できる興味深い点は、最急降下法の各更新の軌跡が前の軌跡に対して垂直であることです (証明プロセスは 2.3 で説明します)。

2.2 アルゴリズムステップ⁷

最急降下法の計算手順は次のとおりです。

ステップ 1: 初期点${バツ}^0$、終了エラーが与えられた場合$e>0$、$k=0$；

ステップ 2: $\nabla f\left(x^k\right)$∣ ∣ ∇ f ( xk ) ∣ ∣ ≤ ε ||\nabla f(x^k)||とします$||\nabla f\left(x^k\right)||\le \epsilon$、反復を停止、出力${バツ}^k$。それ以外の場合は、3 番目のステップに進みます。

ステップ 3: $p^k=-\nabla f\left(x^k\right)$；

ステップ 4: 1 次元検索を実行して${私}_{}$, ( xk + λ kpk ) = min ⁡ λ ≥ 0 f ( xk + λ pk ) f\left(x^{k}+\lambda_{k} p^{k}\right)=\min _{ の定義$$f\left({\times }^k+{私}_{}{p}^k\right)=\underset{\lambda \ge 0}{}f\left({\times }^k+p\_{\_}^k\right)$$k${バツ}^{k+1}={バツ}^k+{私}_{}{p}^k、k=k+1、\text{ステップ}\text{ 2 }\text{に進みます}$

2.3 原理の詳細説明⁸

   任$バツ={バツ}^{\left(k\right)}+p\_{\_}^{\left(k\right)}$ x${バツ}^{点(k)}$で 1 次テイラー展開を実行します。$$f\left(x\right)=f(x^{\left(k\right)}+p\_{\_}^{\left(k\right)}\_=f(x^{\left(k\right)}\_+\lambda \nabla f(x^{\left(k\right)}{\_}^{Tp}{\_}^{\left(k\right)}+O(||\lambda p^{\left(k\right)}||)$$を除く$O(||\lambda p^{\left(k\right)}||)=O(||\lambda ||)$はλ \lambdaの比です$\lambda$高次無限小、および$||p^{\left(k\right)}||=1$ .

( x ( k + 1 ) ) − f ( x ( k ) ) ≈ λ ∇ f ( x ( k ) ) T p ( k ) f(x^{(k+1)})-f(x の値$f\left(x^{(k+1)}\right)-f(x^{\left(k\right)}\_\approx \lambda \nabla f(x^{\left(k\right)}{\_}^{Tp}{\_}^{\left(k\right)}$
$$\nabla f(x^{\left(k\right)}{\_}^{Tp}{\_}^{\left(k\right)}=||\nabla f(x^{\left(k\right)})||\cdot ||p^{\left(k\right)}||\mathrm{コス}私=||\nabla f(x^{\left(k\right)})||\cdot \mathrm{コス}私$$

探索方向 $p^{\left(k\right)}$ : 最初のセクションでは、 θ = 180 ° \theta = 180°を取ると説明されています。$私=180°$の勾配が負の方向になる理由。$\therefore$ $p^{\left(k\right)}=-\nabla f(x^{\left(k\right)}\_$

勾配ベクトルの大きさを求めます。$||\nabla f(x^{\left(k\right)}{\_}^T||$。

• 次に、$||\nabla f(x^{\left(k\right)}{\_}^T||<\epsilon$、計算を停止、出力${バツ}^{\left(k\right)}$を最小点近似として使用します。
• 次に、$||\nabla f(x^{\left(k\right)}{\_}^T||>\epsilon$、次のステップに進みます

この部分は多くの説明で詳しく説明されておらず、実際、勾配ベクトル ∣ ∣ ∇ f ( x ( k ) ) T ∣ ∣ < ε ||\の法長を証明するだけでよい理由がよくわかりませんでした。$||\nabla f(x^{\left(k\right)}{\_}^T||<\epsilon$でいいでしょう。

証明:実際、式 ( ∣ ∣ p ( k ) ∣ ∣ = 1 ||p^{(k)}||=1 は
  組み合わせることができます。$||p^{\left(k\right)}||=1$ ):$f\left(x^{(k+1)}\right)-f(x^{\left(k\right)}\_\approx \lambda \nabla f(x^{\left(k\right)}{\_}^{Tp}{\_}^{\left(k\right)}=||\nabla f\left(x^{\left(k\right)}\right)||\cdot \mathrm{コス}\theta$、ここで$f\left(x^{(k+1)}\right)$は次の最適化値$f\left(x^{\left(k\right)}\right)$は現在の反復値を表します:
左边式子的含义：現在値と将来値の差はますます小さくなり、変化の速度がますます遅くなることを意味します。速度が遅くなったとしても、それは意味するものではありません。最適な最小点が近づいています。
右边式子含义：左の 2 つの式の差は、最終的に勾配のサイズ$||\nabla f\left(x^{\left(k\right)}\right)||$×$\mathrm{コス}\theta$、誰もが$\mathrm{コス}私\in [0,1]$、$\therefore$当$||\nabla f(x^{\left(k\right)}{\_}^T||<\epsilon \; のときは、$求めている値が近似的に最小値とみなせることを意味しており、${バツ}^{\left(k\right)}$は最小点です。

最適なステップ サイズ${私}_{}$：

f ( x ) f(x)  とします。$f\left(x\right)$には 2 次の連続偏導関数があり、それを${バツ}^{\left(k\right)}$点作二阶泰勒展开：$$\begin{array}{rl}f({\times }^{\left(k\right)}-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_& =f({\times }^{\left(k\right)}\_+\nabla f\_{({\times }^{\left(k\right)}\_}^T(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_\\ & +\frac{}{2}{(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_}^{T}H({\times }^{\left(k\right)}\_(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_\\ & +○(\Vert \lambda \nabla f\left({\times }^{\left(k\right)}{\Vert }^2\right)\end{array}$$
上式の主要部分を$H\left(\lambda \right)$ $$H\left(l\right)=f({\times }^{\left(k\right)}\_+\nabla f\_{({\times }^{\left(k\right)}\_}^T(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_+\frac{}{2}{(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\_}^{T}H({\times }^{\left(k\right)}\_\left(-\lambda \nabla f\left({\times }^{\left(k\right)}\right)\right)$$
関数$H\left(\lambda \right)$の唯一の極点$H^{\text{'}}\left(\lambda \right)=0\; の場合$、 λ \lambdaを見つけることができます。$\lambda$）=：$${私}_{}=\frac{\nabla f\_{({\times }^{\left(k\right)}\_}^T\nabla f\_({\times }^{\left(k\right)}}{\nabla f\_{({\times }^{\left(k\right)}\_}^{T}H({\times }^{\left(k\right)}\_\nabla f\_({\times }^{\left(k\right)}\_}$$
ここで$H({\times }^{セクション\; 1\; で述べた(k)})\; は$ヘッセ行列です

ここで、上記の垂直関係を証明するには、次のように証明します。

点${バツ}^{(k+1)}={バツ}^{\left(k\right)}+p\_{\_}^k$を関数$f\left(x\right)$では、$f^{}\left({}^{\times }\right)\_=0$方程式:$$f^{\text{'}}\left(x^{(k+1)}\right)=f^{\text{'}}(x^{\left(k\right)}+p\_{\_}^k)=\nabla f(x^{\left(k\right)}+p\_{\_}^k{)}^{Tp}{\_}^{\left(k\right)}=0$$
将$p^{\left(k\right)}=-\nabla f\left(x^{\left(k\right)}\right)$微分:$$-\nabla f(x^{\left(k\right)}+p\_{\_}^k{)}^T\nabla f(x^{\left(k\right)}\_=-\nabla f(x^{(k+1)}{)}^T\nabla f(x^{\left(k\right)}\_=0$$
これは、前の点と次の点の間の勾配が垂直であることを証明するものではありません

ステップサイズ$図\; 1\; に示すように、1\; つの変数の二次関数を例として、大きいラムダまたは小さいラムダを選択した$場合の影響を示します (この図は matlab で描画しました。コードは最後に拡大されます)。 図 1 \ text{

$$\text{図 1}$$は、この図から、最適なステップ サイズがλ op \lambda_{op}
であることがわかります。${私}_{ああ}$,input $私\in (0,{私}_{ああ})\cup (l_{ああ}、2{分}_{ああ}）$反復回数が多いと、収束速度が非常に遅くなります。興味深いことに、$私=2{分}_{ああ}$時々反復せず、等高線上で直接前後に反復してください。λ ∈ ( 2 λ op , ∞ ) \lambda \in(2\lambda_{op},\infty)のとき$私\in (2{分}_{ああ}、\infty )$を最小点から遠ざけて逆に繰り返します。

2.4 欠点⁷

特定の点の負の勾配方向は、通常、この点付近での最急降下の特性のみを持ちます。

最急降下法では、目的関数の一次勾配を使用して降下して解くため、鋸歯状現象が発生しやすくなります (下図を参照)。最初の数ステップでは、目的関数は急速に減少しますが、その後、目的関数が減少します。が最小点に近いため、長時間にわたって収束速度は理想的ではありません。特に、適切な目的関数の等高線が比較的平らな楕円である場合、収束はさらに遅くなります。

したがって、実際には最急降下法と他の方法を組み合わせて使用​​することが多く、初期段階では最急降下法を使用し、極小点に近づく場合には収束の速い他の方法を使用することができます。

3 例

  この例では、この記事の例⁹を使用していますが、彼の例が使用されています。私のコードは彼のコードとは完全に異なります。興味があれば、この人のコードも見てみてください。さて、くだらない話はやめて、次のトピックについて話しましょう: $$最小f\left(x\right)={バツ}_1^{}+2倍{\_}_2^{}-2倍{\_}_{}{バツ}_{}-2倍{\_}_{}$$其中 $バツ=({\times }_{}、{バツ}_{}{)}^T$，${バツ}^0=(0,0{)}^{て}$。

(1) 勾配関数$\nabla f\left(x\right)=\left(\begin{array}{c}2倍{\_}_{}-2倍{\_}_{}\\ 4x{\_}_{}-2倍{\_}_{}-\end{array}\right)$ヘッセ関数$H(\times )=\nabla (\nabla f(x))=\left(\begin{array}{cc}2& -2\\ -& \end{array}\right)$

(2) ${バツ}^{\left(0\right)}=(0,0{)}^{}$上記の式 (1) に${}^T$$\nabla f\left(x^{\left(0\right)}\right)=\left(\begin{array}{c}0\\ -\end{array}\right)$、つまり$p^{\left(0\right)}=-\nabla f\left(x^{\left(0\right)}\right)=\left(\begin{array}{c}0\\ \end{array}\right)$

(3) $H\left({\times }^{\left(0\right)}\right)=\left(\begin{array}{cc}2& -2\\ -& \end{array}\right)$と$\nabla f\left(x^{\left(0\right)}\right)$代入$${私}_{}=\frac{\nabla f\_{({\times }^{\left(k\right)}\_}^T\nabla f\_({\times }^{\left(k\right)}}{\nabla f\_{({\times }^{\left(k\right)}\_}^{T}H({\times }^{\left(k\right)}\_\nabla f\_({\times }^{\left(k\right)}\_}$$
得到 $$\lambda =\frac{\left(\begin{array}{cc}0& -2\end{array}\right)\left(\begin{array}{c}0\\ -2\end{array}\right)}{\left(\begin{array}{cc}0& -2\end{array}\right)\left(\begin{array}{cc}2& -2\\ -2& 4\end{array}\right)\left(\begin{array}{c}0\\ -2\end{array}\right)}=\frac{1}{4}$$
(4) $x^{(1)}=x^{(0)}+\lambda p^{(0)}=\left(\begin{array}{c}0\\ \frac{1}{2}\end{array}\right)$

同理转回（2）可以一直迭代回去一直到满足条件为止，得到最优解为 $x^{\ast }=(1、1{)}^T、y^{\ast }=-1$

4 コードの実装

  上記のメソッド手順によれば、実際には、コードを記述するときに必要なモジュールはほんの数個だけです。 (1) find $\nabla f\left(x\right)$関数、(2) ヘッセ行列$H\left(x\right)$モジュール; (3) 前の 2 つの関数を組み合わせて最速降下法を見つける関数を構築; (4) 視覚化のために、 GIF を生成する動的最急降下法の描画関数を追加しました。

声明：

• 構築: df=nabla_f(fun,x)、$\nabla f\left(x\right)$の関数
• 構築: H=Hesse(df,x,x0,n)、ヘッセ行列$H\left(x\right)$のモジュール
• 構築: [x0,i] = GD(f,x,x0,epsilon)、最急降下法の関数
• 構築: GDplot(f,x0,i,x1,x2,GIFname)、最急降下描画関数
• 私のコードは、最小点を見つけるために勾配降下を実行するバイナリn 回関数に適しています。( (2022.5.30)现已经解决了限制，可以实现n元n次函数，GDplot()画图函数只能绘制三维图)

注意: 次のいくつかの簡単なコードには、最初にいくつかの関数が必要であることを全員に思い出させるアプリケーションが含まれます。

結果を最初に置きます:

生成された GIF 画像:

4.1 $\nabla f\left(x\right)$関数モジュールのコード実装

この関数には 2 つの入力があります: (1) fun: 関数式を示します。これは通常、MATLAB ではハンドル関数の形式で表現されます。ハンドル関数の書き方は記事の冒頭に書いてありますが、知らない学生は最初の参考文献を読んでください。(2) x: 変数文字列を示します。ここでは通常${バツ}_{}、{バツ}_{}$、例も以下に示します。
出力: df: はハンドル関数です

コードは以下のように表示されます。

function df=nabla_f(fun,x)
%  ∇f 求梯度
    df=[];
    x=str2sym(x);
    for i=1:length(x)
        df1 = diff(fun,x(i));
        df=[df;df1];
    end
    df= matlabFunction(df);
end

たとえば、次のコードを入力して実行すると、dfハンドル関数を取得できます。

f=@(x1,x2) x1.^2+2*x2.^2-2*x1.*x2-2*x2;
x ='[x1,x2]';
df=nabla_f(f,x)

出力：

4.2 ヘッセ行列$H\left(x\right)$のモジュール コード実装

この関数には4 つの入力があります: (1) df: $\nabla f$、関数 nabla_f の結果。(2)x: 変数文字列を示します。ここでは通常${バツ}_{}、{バツ}_{}$。(3) x0: 初期値${バツ}^{\left(0\right)}$。(4)n: 現在の反復回数を示します。
出力:df: はハンドル関数です

コードは以下のように表示されます。

function H = Hesse(df,x,x0,n)
%  Hesse矩阵 H(x)=∇(∇f) 
%  df 为 ∇f，即为函数nabla_f的结果 ∇f
    H=[];
    x=str2sym(x);
    for i=1:length(x)
        df1 = diff(df,x(i));
        H=[H,df1];
    end
%     H = matlabFunction(H);
    s=char(H);
    if find(s=='x')
        H = matlabFunction(H);
        H = H(x0{
    
    n}(1),x0{
    
    n}(2));
    else
        H = double(H);
    end
end

4.3 最急降下法機能モジュールのコード実装

入力: (1) f: 上記で定義したハンドル関数の場合 例: f= @(x1,x2) 2*x1.^2+2*x2.^2+2*x1.*x2+x1-x2。(2) x: 変数文字列を表すには、通常${バツ}_{}、{バツ}_{}$.(3) x0: 開始点を示します${バツ}^{\left(0\right)}$。(4)ε 歌う$\epsilon$精度

コードは以下のように表示されます。

function [x0,i] = GD(f,x,x0,epsilon)
% 梯度下降法 也可以称：最速下降法
% input：f 为上面定义的句柄函数 例如：f= @(x1,x2) 2*x1.^2+2*x2.^2+2*x1.*x2+x1-x2;
%        x 为表示变量字符串，这里一般是 x1,x2
%        x0 表示起始点
%        epsilon 为ε精度
% output：x0 为GD函数出来的从起始点x0寻优到极小值点的所有点集合
%        i 为GD函数寻优过程得到点的个数即：i==length(x0)
%        可以打印出最小值 min{
    
    f}，以及极小值值点 x
%

    i=1;
    df = nabla_f(f,x);
    H = Hesse(df,x,x0,i);
    dfx=df(x0{
    
    1}(1),x0{
    
    1}(2));
   
    er=norm(dfx);
    while er > epsilon                
            p = -dfx;
            lambda = dfx'*dfx/(dfx'*H*dfx);
            i=i+1;
            x0{
    
    i} = x0{
    
    i-1}+lambda*p;
            dfx = df(x0{
    
    i}(1),x0{
    
    i}(2));
            H = Hesse(df,x,x0,i);
            er = norm(dfx);     
    end
    fmin = f(x0{
    
    i}(1),x0{
    
    i}(2));
    disp('极小值点：');
    disp(['x1 = ',num2str(x0{
    
    i}(1))]);
    disp(['x2 = ',num2str(x0{
    
    i}(2))]);
    fprintf('\nf最小值：\n min{f}=%f\n',fmin);
end

※4.4 最急降下法描画機能モジュールのコード実装

この関数コードに興味のある学生は見てください。説明はせずにコードを載せておきます。一番の理由は、長時間書くのは疲れるので、怠けるのはもったいないです！

创新点：1. グラフのタイトルは f の式に従って自動的に生成されるため、グラフのタイトルを手動で描画したり、任意のffを入力したりする必要はありません。$f\; は$任意のffを実装できます$f$の図のタイトルは、これがすべて、ハンドル関数形式 (function_handle) からT ex Texへの変換を実現する f2t() 関数の記述のおかげであることを示しています。$Tex$形式の文字列

更新2022-11-6suptitleをsgtitleに変更し、f2s関数をアップロードしました

コードは以下のように表示されます。

function GDplot(f,x0,i,x1,x2,GIFname)
% input：f 为上面定义的句柄函数 例如：f= @(x1,x2) 2*x1.^2+2*x2.^2+2*x1.*x2+x1-x2;
%        x0 为GD函数出来的从起始点x0寻优到极小值点的所有点集合
%        i 为GD函数寻优过程得到点的个数即：i==length(x0)
%        x1 为f函数中第一个变量的取值范围
%        x2 为f函数中第二个变量的取值范围
% 
% output：生成一个gif

        [x1,x2]=meshgrid(x1,x2);
        z=f(x1,x2);
        figure('color','w')
        sgtitle(['\it f=',f2s(f)])
        subplot(211) 
        mesh(x1,x2,z)
        axis off
        view([-35,45])
        hold on
        subplot(212)
        contour(x1,x2,z,20)
        zlim([0,0.5])
        set(gca,'ZTick',[],'zcolor','w')
        axis off
        view([-35,45])
        hold on

        pic_num = 1;

        for j =1:i-1    
            a=[x0{
    
    j}(1),x0{
    
    j}(2),f(x0{
    
    j}(1),x0{
    
    j}(2))];
            b=[x0{
    
    j+1}(1),x0{
    
    j+1}(2),f(x0{
    
    j+1}(1),x0{
    
    j+1}(2))];
            c=[a',b'];
            a1=[x0{
    
    j}(1),x0{
    
    j}(2)];
            b1=[x0{
    
    j+1}(1),x0{
    
    j+1}(2)];
            c1=[a1',b1'];
    
            subplot(211)
            plot3(x0{
    
    j}(1),x0{
    
    j}(2),f(x0{
    
    j}(1),x0{
    
    j}(2)),'r.','MarkerSize',10)
            subplot(212)
            plot(x0{
    
    j}(1),x0{
    
    j}(2),'r.','MarkerSize',10)
            drawnow
            F(j)=getframe(gcf);
            pause(0.5)

            subplot(211)
            plot3(c(1,:),c(2,:),c(3,:),'r--')    
            subplot(212)
            plot(c1(1,:),c1(2,:),'r--')
            drawnow 
            F(2*j)=getframe(gcf);
            pause(0.5)
            
            % 绘制并保存gif
            I=frame2im(F(j));
            [I,map]=rgb2ind(I,256);
            I1=frame2im(F(2*j));
            [I1,map1]=rgb2ind(I1,256);
            if pic_num == 1
                imwrite(I,map, GIFname ,'gif', 'Loopcount',inf,'DelayTime',0.5);
            else
                imwrite(I,map, GIFname ,'gif','WriteMode','append','DelayTime',0.5);
                imwrite(I1,map1, GIFname ,'gif','WriteMode','append','DelayTime',0.5);
            end
            pic_num = pic_num + 1;
        end
        subplot(211)
        plot3(x0{
    
    i}(1),x0{
    
    i}(2),f(x0{
    
    i}(1),x0{
    
    i}(2)),'r.','MarkerSize',9)
        subplot(212)
        plot(x0{
    
    i}(1),x0{
    
    i}(2),'r.','MarkerSize',9)
        F(2*i-1)=getframe(gcf);
        I=frame2im(F(2*i-1));
        [I,map]=rgb2ind(I,256);
        imwrite(I,map, GIFname ,'gif','WriteMode','append','DelayTime',0.5);
end

function s = f2s(fun)
% 句柄函数的转换为字符串 
% 主要是用来画图title用的，可自动将句柄函数转为字符串函数
% 在绘制画图时可以自动生成函数表达式 title（并且以Latex形式显示出来），避免手动敲击函数公式
    s = func2str(fun);
    s = char(s);
    c = strfind(s,')');
    s(1:c(1))=[];
    c1 = strfind(s,'.');
    s(c1)=[];
    c2 = strfind(s,'*');
    s(c2)=[];
    c3 = strfind(s,'x');
    for  i = 1:length(c3)
       s = insertAfter(s,c3(i)+i-1,'_'); 
    end   
end

4.5 主な機能

コードは以下のように表示されます。

clc
clear all
close all
% f= @(x1,x2) 2*x1.^2+2*x2.^2+2*x1.*x2+x1-x2;
f= @(x1,x2) x1.^2+2*x2.^2-2*x1.*x2-2*x2;      % 句柄函数表达式
% f= @(x1,x2) (x1-1).^2+(x2-1).^2;
% f=@(x1,x2) x1.^4+3*x1.^2*x2-x2.^4;
x0{
    
    1}=[0;0];
x ='[x1,x2]';      % 函数变量字符串
epsilon=0.001;     % ε为误差精度
[x0,i] = GD(f,x,x0,epsilon);
x1=0:0.01:2;
x2=x1;
GIFname = 'f1.gif';
GDplot(f,x0,i,x1,x2,GIFname)

4.6 上の図 1 のコード

図 1 コード直接ダウンロード ファイルのリンク:ここをクリックしてコード ファイルをダウンロードします

4.7 完全なコードファイル

Xiaobai の学生の場合は、この完全なコード (この記事のコードと図 1 のコードを含む) をダウンロードできます。
コードは個人用 GitHub に配置されています: https://github.com/cug-auto -zp/CSDN/tree/ main/gradient が
GitHub リーダーにアクセスできない場合は、リソースのダウンロード リンクもあります:リソース リンク

5 まとめ

この記事を書いてくれたブロガーには今でも感謝したいし、個人的にも彼らの記事を読んで得たものはたくさんあると感じています。コードを提供することは誰もが学ぶのに便利である一方で、Matlab には私が知らない機能がたくさんあることも、大手の記事や公開コードを通じて知りました。 MATLAB については、実際のところ、意図的に学ぶ必要はなく、常に観察して蓄積していく過程で、MATLAB についての知識を広げています。したがって、私は個人的に、このオープンソース コードのアイデアを継続することを強く主張します。

6 参考文献の引用

---

1. ハンドル機能 ↩︎

2. Matlab 公式ドキュメント - matlabFunction: https://ww2.mathworks.cn/help/symbolic/matlabfunction.html ↩︎

3. 方向導関数と勾配: https://blog.csdn.net/myarrow/article/details/51332421 ↩︎

4. グラデーションとは正確には何ですか? 物理的および数学的意味は何ですか? : https://www.zhihu.com/question/29151564 ↩︎

5. グラデーション、発散、カール: https://zhuanlan.zhihu.com/p/97545154 ↩︎

6. 第8回講義 勾配降下法：https://zhuanlan.zhihu.com/p/335191534 ↩︎

7. 制約なしの最適化問題 - 最急降下法: https://zhuanlan.zhihu.com/p/445223282 ↩︎ ↩︎ ↩︎

8. 最急降下法 (上): https://www.bilibili.com/video/BV1RK4y1a75C/
   最急降下法 (下):
   https://www.bilibili.com/video/BV1ey4y1k7jY/?spm_id_from=333.788.recommend_more_video.- 1 ↩︎

9. 最適化アルゴリズム - 最急降下法: https://blog.csdn.net/m0_37570854/article/details/88559619 ↩︎