第二次-机器学习相关数学基础

.本周视频学习内容:https://www.bilibili.com/video/BV1Tb411H7uC?p=2

1)P2 概率论与贝叶斯先验

2)P3 矩阵和线性代数

机器学习是一门多领域交叉学科,涉及较多的数学知识,本节课知识之前都有学过,这次根据重点重新梳理一遍,一定要多加重视。通过观看视频,大家对课程的数学基础部分加深印象。

建议大家边看边做笔记,记录要点及所在时间点,以便有必要的时候回看。学习笔记也是作业的一部分。

3.作业要求:

1)贴上视频学习笔记,要求真实,不要抄袭,可以手写拍照。

2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

本福特定律:

 概率公式:

贝叶斯公式:

两点分布:

        

泰勒级数:

泊松分布:

    

均匀分布:

 

指数分布:

正态分布:

   

 

      

 

Beta分布:

   

 

 

事件的独立性:

     

方差、协方差:

  

 

  

pearson相关系数、切比雪夫不等式:

   

大数定律:

  

重要推论:

 

 

 

 

 

 

 

 

2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

①梯度:梯度的定义如下:

梯度定义

梯度的提出只为回答一个问题: 函数在变量空间的某一点处,沿着哪一个方向有最大的变化率?
梯度定义如下: 函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。
这里注意三点: 1)梯度是一个向量,即有方向有大小; 2)梯度的方向是最大方向导数的方向; 3)梯度的值是最大方向导数的值。

②梯度下降:梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法。

③贝叶斯定理:

 概率论中的条件概率公式:

(1)

其中,P(B/A)  表示事件A已经发生的前提下,事件B发生的概率,叫做事件A发生下事件B的条件概率,P(AB)表示AB事件同时发生的概率。同理可得事件B发生下事件A发生的概率如下:
(2)

事件B发生的概率为P(B),它包含两部分,一是在A发生的条件下事件B发生了,另一种情况是在A非的情况下事件B发生了,所以P(B)的计算公式如下:

(3)

将公式(3)带入公式(2),可得到完整的贝叶斯公式如下:

  

猜你喜欢

转载自www.cnblogs.com/kushoulder/p/12699021.html
今日推荐