1. はじめに
勾配降下法または最急降下法は、制約のない最適化問題を解決するための一般的な方法です。
fx) が R 上の 1 次連続偏導関数を持つ関数であるとします。解くべき制約のない最適化問題は です。その本質は反復法であり、初期値 x0 を選択し、次に x0 を反復的に更新し、収束が終了するまで目的関数の最小値を実行します。
2. 事例分析
f(x,y)=(x^2+y^2)/2、最小値が反復されます。、
ステップ
1. 初期値 x0 y0、ステップサイズ L、収束精度 e を設定します。
2. 関数 f(x) の偏導関数 dx df を求めます。
3. a=f(x0,y0)を計算します。
x0=x0-L*dx(x,y);
y0=y0-L*dy(x,y)
b=f(x0,y0)、
x0 y0 を更新
4. abs(ab)>e が収束するかどうかを判断しますか? サイクルを開始するには 3 を返します: 終了して x0 y0 を返します。
MATLAB コード:
% fun ：函数原型
% dx fun 的偏x导数
% dy fun 的偏y导数
% x0 y0初始值
% e 精度
% l 迭代步长
%
function [newX,newY,num_iterator,point] = Gradient_Descent(fun,dfunx,dfuny,x0,y0,e,l)
value_a=feval(fun,x0,y0);
% 开始计算第一次迭代
% x_iterator=x-l*dx
dx=feval(dfunx,x0,y0);
newX=x0-l*dx;
% 同理可以计算出新的y
dy=feval(dfuny,x0,y0);
newY=y0-l*dy;
% 开始计算第二次的值
num_iterator=1;
value_b=feval(fun,newX,newY);
point(num_iterator,:) = [newX,newY,value_a];
while(abs(value_a-value_b)>e)
value_a=feval(fun,newY,newY);
% x_iterator=x-l*dx
dx=feval(dfunx,newX,newY);
newX=newX-l*dx;
% 同理可以计算出新的y
dy=feval(dfuny,newX,newY);
newY=newY-l*dy;
num_iterator=num_iterator+1;
value_b=feval(fun,newX,newY);
point(num_iterator,:) = [newX,newY,value_b];
end
endメイン機能：
% 目标函数为 z=f(x,y)=(x^2+y^2)/2
close all;
clear all;
clc
fun = inline('(x^2+y^2)/2','x','y'); % 函数(x^2+y^2)/2'
dfunx = inline('x','x','y'); %对x的导数
dfuny = inline('y','x','y'); %对y的导数
x0 = 3; % 初始位置
y0 = 3;
Epsilon1 = 0.00000000001; % 精度
Lambda1 = 0.01; % 步长/更新率%求解
[x,y,n,point] = Gradient_Descent(fun,dfunx,dfuny,x0,y0,Epsilon1,Lambda1)%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% figure 画图
x = -0.1:0.1:4;
y = x;
[x,y] = meshgrid(x,y);
z = (x.^2+y.^2)/2;
surf(x,y,z) %绘制三维表面图形
xlabel('X');ylabel('Y');zlabel('z')% hold on
% plot3(point(:,1),point(:,2),point(:,3),'linewidth',1,'color','black')
hold on
scatter3(point(:,1),point(:,2),point(:,3),'r','*');
欠点がある
勾配降下法の欠点:
(1) 下図に示すように、最小値に近づくと収束速度が遅くなります。
(2) 直線で検索すると問題が発生する可能性があります。