机器学习算法2_梯度下降法

其他 2019-03-14 19:44:35 阅读次数: 0

机器学习算法第二篇

  1. 本文目内容:梯度下降法算法推导
  2. 本文基于多元线性回归
  3. 数学核心向

一 逻辑推演

  1. 有数据Data( 上标为列号,下标为行号)
    [ x 1 1 x 2 1 . . . x n 1 y 1 x 1 2 x 2 2 . . . x n 2 y 2 x 1 3 x 2 3 . . . x n 3 y 3 . . . . . . . . . . . . . . x 1 m x 2 m . . . x n m y m ] \begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1& y^1 \\ x_1^2 & x_2^2 \quad...&x_n^2& y^2\\ x_1^3 & x_2^3 \quad...&x_n^3& y^3 \\ . & . \quad...& .& . \\ . & . \quad...& .& . \\ x_1^m & x_2^m \quad...&x_n^m& y^m \\ \end{bmatrix}
    令 x _ d a t a = [ x 1 1 x 2 1 . . . x n 1 x 1 2 x 2 2 . . . x n 2 x 1 3 x 2 3 . . . x n 3 . . . . . . . . . . . . x 1 m x 2 m . . . x n m ] 令x\_data =\begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1\\ x_1^2 & x_2^2 \quad...&x_n^2\\ x_1^3 & x_2^3 \quad...&x_n^3 \\ . & . \quad...& . \\ . & . \quad...& .\\ x_1^m & x_2^m \quad...&x_n^m\\ \end{bmatrix}
    令 y _ d a t a = [ y 1 y 2 y 3 . . y m ] 令y\_data =\begin{bmatrix} y^1 \\ y^2\\ y^3 \\ . \\ . \\ y^m \\ \end{bmatrix}

  2. 设回归线 h θ ( x ) h_\theta(x) : θ 1 x 1 + θ 2 x 2 + . . . + θ n x n = 0 \theta_1x_1+\theta_2x_2 +...+\theta_nx_n=0
    任意点 P ( x 1 , x 2 . . . x n ) P(x_1,x_2...x_n) 带入该式可得到点P到回归线的距离d

  3. 线性回归的目标为:求合适的参数 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n) 组成的超平面 h θ ( x ) h_\theta(x)
    使得众测试点带入该式后所得的值(误差)的平方和最小

即 : min ⁡ ( ∑ d 2 ) \min (\sum d^2)
即 :拟合度最高

  1. 根据3式构建代价函数 costfunction
    J ( θ 1 , θ 2 . . . θ n ) = 1 2 m ∑ i = 1 m ( h θ ( x i ) − y i ) 2 J(\theta_1,\theta_2...\theta_n)=\frac{1}{2m}\sum_{i=1}^m (h_\theta(x^i)-y^i)^2
    该函数表示训练集所有的m个点带入后 距离回归线的距离的平方和

  2. 函数结构观念调整: 在训练阶段, 代价函数的x 与y 都是已知量 θ \theta 为变量量
    因此3式所述的目标等价于求函数 J ( θ 1 , θ 2 . . . θ n ) J(\theta_1,\theta_2...\theta_n) 的值取最小值时候的变量 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n)

二 梯度下降法:

  • 概念:
    通过将各变量 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n) 不断朝函数取得极值时的变量 ( ω 1 , ω 2 . . . ω n ) (\omega_1,\omega_2...\omega_n) 方向靠拢,从而获得代价函数取最小值时候的各 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n) 参数

方法一:

方法一更易于理解,但计算复杂度较高,求导难度大

  \

  1. 对变量 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n) 进行初始随机赋值
    θ 1 = 1 , θ 1 = 5 , θ 3 = 0.5 , θ n = 10 \theta_1=1, \\ \theta_1=5,\\ \theta_3=0.5,\\ \theta_n=10

  \
2. 对函数的表达式的逐个变量 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n) 求偏导,得到 ∇ J ( θ 1 , θ 2 . . . θ n ) = ( ∂ f ∂ θ 1 , ∂ f ∂ θ 2 , ∂ f ∂ θ 3 . . . ∂ f ∂ θ i ) ∇J(\theta_1,\theta_2...\theta_n)=\left(\frac{\partial f}{\partial\theta_1},\frac{\partial f}{\partial\theta_2},\frac{\partial f}{\partial\theta_3}...\frac{\partial f}{\partial\theta_i}\right)

∂ f ∂ θ 1 = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x 1 i ∂ f ∂ θ 2 = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x 2 i . . . . . . ∂ f ∂ θ n = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x n i \frac{\partial f}{\partial\theta_1}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_1^i \\ \frac{\partial f}{\partial\theta_2}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_2^i\\ ...\\...\\ \frac{\partial f}{\partial\theta_n}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_n^i
  \

  1. 设定学习率 控制每次迭代 变量的移动距离
    l R = 0.001 , 该 参 数 为 示 例 , 应 按 照 实 际 情 况 调 整 lR=0.001,该参数为示例,应按照实际情况调整
      \

  2. 分别对每个变量进行迭代
    θ 1 = θ 1 − l R ∂ f ∂ θ 1 θ 2 = θ 2 − l R ∂ f ∂ θ 2 θ 3 = θ 3 − l R ∂ f ∂ θ 3 . . . . . . θ m = θ m − l R ∂ f ∂ θ m 1 \theta_1=\theta_1-lR\frac{\partial f}{\partial\theta_1}\\\theta_2=\theta_2-lR\frac{\partial f}{\partial\theta_2}\\\theta_3=\theta_3-lR\frac{\partial f}{\partial\theta_3}\\...\\...\\\theta_m=\theta_m-lR\frac{\partial f}{\partial\theta_m1}
      \

5.重复第四步到足够次数,可得到距离代价函数取最小值时候的变量 ( ω 1 , ω 2 . . . ω n ) (\omega_1,\omega_2...\omega_n) 极为接近的变量 ( θ 1 , θ 2 . . . θ n ) (\theta_1,\theta_2...\theta_n)

方法二

方法二:将代价函数矩阵化,从而极大化简计算复杂度和求导复杂度

  1. 子式矩阵化

  • θ = [ θ 1 θ 2 θ 3 . . θ m ] \theta= \begin{bmatrix} \theta_1 \\ \theta_2\\ \theta_3 \\ . \\ . \\ \theta_m \\ \end{bmatrix}

  • J ( θ 1 , θ 2 . . . θ n ) ⇒ J ( θ ) J(\theta_1,\theta_2...\theta_n) \Rightarrow J(\theta)

  • y i ⇒ Y = y _ d a t a = [ y 1 y 2 y 3 . . y m ] y^i\Rightarrow Y=y\_data=\begin{bmatrix} y^1 \\ y^2\\ y^3 \\ . \\ . \\ y^m \\ \end{bmatrix}

  • x i ⇒ X = x _ d a t a = [ x 1 1 x 2 1 . . . x n 1 x 1 2 x 2 2 . . . x n 2 x 1 3 x 2 3 . . . x n 3 . . . . . . . . . . . . x 1 m x 2 m . . . x n m ] x^i\Rightarrow X=x\_data=\begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1\\ x_1^2 & x_2^2 \quad...&x_n^2\\ x_1^3 & x_2^3 \quad...&x_n^3\\ . & . \quad...& . \\ . & . \quad...& .\\ x_1^m & x_2^m \quad...&x_n^m\\ \end{bmatrix}

  • h θ ( x i ) ⇒ [ h θ ( x 1 ) h θ ( x 2 ) h θ ( x 3 ) . . h θ ( x m ) ] = [ θ 1 x 1 1 + θ 2 x 2 1 + . . . + θ n x n 1 θ 1 x 1 2 + θ 2 x 2 2 + . . . + θ n x n 2 θ 1 x 1 3 + θ 2 x 2 3 + . . . + θ n x n 3 . . . . . . . . θ 1 x 1 m + θ 2 x 2 m + . . . + θ n x n m ] = X ⋅ θ h_\theta(x^i)\Rightarrow \begin{bmatrix} h_\theta (x^1) \\ h_\theta (x^2) \\ h_\theta (x^3 ) \\ . \\ . \\ h_\theta (x^m) \\ \end{bmatrix}=\begin{bmatrix} \theta_1x_1^1+\theta_2x_2^1 +...+\theta_nx_n^1\\ \theta_1x_1^2+\theta_2x_2 ^2+...+\theta_nx_n^2\\ \theta_1x_1^3+\theta_2x_2 ^3+...+\theta_nx_n^3\\ \quad... . \\ \quad... .\\ \theta_1x_1^m+\theta_2x_2^m +...+\theta_nx_n^m\\ \end{bmatrix}=X \cdot \theta

  • ∂ f ∂ θ i ⇒ ∇ J ( θ ) = [ ∂ f ∂ θ 1 ∂ f ∂ θ 2 ∂ f ∂ θ 3 . . ∂ f ∂ θ n ] \frac{\partial f}{\partial\theta_i}\Rightarrow ∇J(\theta)=\begin{bmatrix} \frac{\partial f}{\partial\theta_1}\\ \frac{\partial f}{\partial\theta_2}\\ \frac{\partial f}{\partial\theta_3}\\ . \\ . \\ \frac{\partial f}{\partial\theta_n}\\ \end{bmatrix}

2.变换流程

因 为 因为
∂ f ∂ θ 1 = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x 1 i ∂ f ∂ θ 2 = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x 2 i . . . . . . ∂ f ∂ θ n = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x n i \frac{\partial f}{\partial\theta_1}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_1^i \\ \frac{\partial f}{\partial\theta_2}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_2^i\\ ...\\...\\ \frac{\partial f}{\partial\theta_n}=\frac{1}{m}\sum_{i=1}^m\left(h_\theta(x^i)-y^i\right)x_n^i

所 以 所以
∇ J ( θ ) = [ ∂ f ∂ θ 1 ∂ f ∂ θ 2 ∂ f ∂ θ 3 . . ∂ f ∂ θ n ] = [ x 1 1 ( h θ ( x 1 ) − y 1 ) + x 1 2 ( h θ ( x 2 ) − y 2 ) + . . . + x 1 m ( h θ ( x m ) − y m ) x 2 1 ( h θ ( x 1 ) − y 1 ) + x 2 2 ( h θ ( x 2 ) − y 2 ) + . . . + x 2 m ( h θ ( x m ) − y m ) x 3 1 ( h θ ( x 1 ) − y 1 ) + x 3 2 ( h θ ( x 2 ) − y 2 ) + . . . + x 3 m ( h θ ( x m ) − y m ) . . . . . . . . x n 1 ( h θ ( x 1 ) − y 1 ) + x n 2 ( h θ ( x 2 ) − y 2 ) + . . . + x n m ( h θ ( x m ) − y m ) ] ∇J(\theta)=\begin{bmatrix} \frac{\partial f}{\partial\theta_1}\\ \frac{\partial f}{\partial\theta_2}\\ \frac{\partial f}{\partial\theta_3}\\ . \\ . \\ \frac{\partial f}{\partial\theta_n}\\ \end{bmatrix}=\begin{bmatrix} x_1^1(h_\theta(x^1)-y^1)+x_1^2(h_\theta(x^2)-y^2)+...+x_1^m(h_\theta(x^m)-y^m)\\ x_2^1(h_\theta(x^1)-y^1)+x_2^2(h_\theta(x^2)-y^2)+...+x_2^m(h_\theta(x^m)-y^m)\\ x_3^1(h_\theta(x^1)-y^1)+x_3^2(h_\theta(x^2)-y^2)+...+x_3^m(h_\theta(x^m)-y^m)\\ \quad... . \\ \quad... .\\ x_n^1(h_\theta(x^1)-y^1)+x_n^2(h_\theta(x^2)-y^2)+...+x_n^m(h_\theta(x^m)-y^m)\\ \end{bmatrix}
经 过 奇 妙 变 换 得 到 经过奇妙变换得到
∇ J ( θ ) = [ ∂ f ∂ θ 1 ∂ f ∂ θ 2 ∂ f ∂ θ 3 . . ∂ f ∂ θ n ] = = [ x 1 1 x 2 1 . . . x n 1 x 1 2 x 2 2 . . . x n 2 x 1 3 x 2 3 . . . x n 3 . . . . . . . . . . . . x 1 m x 2 m . . . x n m ] T [ h θ ( x 1 ) − y 1 h θ ( x 2 ) − y 2 h θ ( x 3 − y 3 . . . h θ ( x m ) − y m ] ∇J(\theta)=\begin{bmatrix} \frac{\partial f}{\partial\theta_1}\\ \frac{\partial f}{\partial\theta_2}\\ \frac{\partial f}{\partial\theta_3}\\ . \\ . \\ \frac{\partial f}{\partial\theta_n}\\ \end{bmatrix}==\begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1\\ x_1^2 & x_2^2 \quad...&x_n^2\\ x_1^3 & x_2^3 \quad...&x_n^3\\ . & . \quad...& . \\ . & . \quad...& .\\ x_1^m & x_2^m \quad...&x_n^m\\ \end{bmatrix}^T\begin{bmatrix} h_\theta(x^1)-y^1\\ h_\theta(x^2)-y^2\\ h_\theta(x^3-y^3\\ ...\\ h_\theta(x^m)-y^m\\ \end{bmatrix}

再 变 再变

∇ J ( θ ) = [ ∂ f ∂ θ 1 ∂ f ∂ θ 2 ∂ f ∂ θ 3 . . ∂ f ∂ θ n ] = = [ x 1 1 x 2 1 . . . x n 1 x 1 2 x 2 2 . . . x n 2 x 1 3 x 2 3 . . . x n 3 . . . . . . . . . . . . x 1 m x 2 m . . . x n m ] T ( [ h θ ( x 1 ) h θ ( x 2 ) h θ ( x 3 . . . h θ ( x m ) ] − [ y 1 y 2 y 3 . . . y m ] ) ∇J(\theta)=\begin{bmatrix} \frac{\partial f}{\partial\theta_1}\\ \frac{\partial f}{\partial\theta_2}\\ \frac{\partial f}{\partial\theta_3}\\ . \\ . \\ \frac{\partial f}{\partial\theta_n}\\ \end{bmatrix}==\begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1\\ x_1^2 & x_2^2 \quad...&x_n^2\\ x_1^3 & x_2^3 \quad...&x_n^3\\ . & . \quad...& . \\ . & . \quad...& .\\ x_1^m & x_2^m \quad...&x_n^m\\ \end{bmatrix}^T \left( \begin{bmatrix} h_\theta(x^1)\\ h_\theta(x^2)\\ h_\theta(x^3\\ ...\\ h_\theta(x^m)\\ \end{bmatrix}-\begin{bmatrix} y^1\\ y^2\\ y^3\\ ...\\ y^m\\ \end{bmatrix} \right)

代 入 子 式 们 得 到 : 代入子式们得到:
∇ J ( θ ) = X T ( X θ − Y ) ∇J(\theta)=X^T(X\theta-Y)

  \
又 因 为 又因为
θ 1 = θ 1 − l R ∂ f ∂ θ 1 θ 2 = θ 2 − l R ∂ f ∂ θ 2 θ 3 = θ 3 − l R ∂ f ∂ θ 3 . . . . . . θ m = θ m − l R ∂ f ∂ θ m 1 \theta_1=\theta_1-lR\frac{\partial f}{\partial\theta_1}\\\theta_2=\theta_2-lR\frac{\partial f}{\partial\theta_2}\\\theta_3=\theta_3-lR\frac{\partial f}{\partial\theta_3}\\...\\...\\\theta_m=\theta_m-lR\frac{\partial f}{\partial\theta_m1}

代 入 子 式 与 ∇ J ( θ ) 得 到 最 终 式 子 : 代入子式与∇J(\theta)得到最终式子:
θ = θ − L R ( ∇ J ( θ ) ) \theta=\theta-LR(∇J(\theta))
- 式 子 里 除 L R 外 都 是 向 量 式子里除LR外都是向量

重 复 上 式 足 够 次 数 , 可 得 到 距 离 代 价 函 数 取 最 小 值 时 候 的 变 量 ( ω 1 , ω 2 . . . ω n ) 极 为 接 近 的 变 量 ( θ 1 , θ 2 . . . θ n ) 重复上式足够次数,可得到距离代价函数取最小值时候的变量(\omega_1,\omega_2...\omega_n)极为接近的变量(\theta_1,\theta_2...\theta_n)

猜你喜欢

转载自blog.csdn.net/weixin_44341114/article/details/88539037
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022