机器学习与数学基础知识(一)

最近,朋友分享给我一套“七月在线”的机器学习视频,我几经思量之后,决定从视频量最少的数学基础部分开始看起,今天学习完了第一个视频,长达2小时,感觉老师讲的挺不错的。以前自己就对机器学习很感兴趣,做了一些了解和尝试性地学习,也看了一点经典的林轩田和吴恩达系列的视频,个人觉得再经典的机器学习视频也需要一个良好的数学基础来入门。

    第一集的视频主要是系统介绍了机器学习基础与相关数学基础的一些概念,具体的内容会在以后的视频中展开。

    一 机器学习基础

    这是一张解释 计算机编程能力(左上),个人专业领域(下面)和数学统计学知识(右上)关系的图片。对于个人专业领域,是你从事的某一方向或者专业,比如图像处理,数据挖掘,语音识别等这些可以用到机器学习的领域;在当今AI的大趋势下,很多人都想转型到AI的领域分一杯羹,那么这些人大多是个人专业领域很强和编程能力很强的结合体,属于危险区域(Danger Zone),你可以直接使用机器学习的模型,简单的带入数据,让程序跑起来,解决工程问题,但是仅限于简单的机器学习算法,稍微复杂的机器学习算法,必然要以强大的数学基础为支撑,来保证你正确使用,维护和优化机器学习算法。如果你个人专业领域很强,而且数学基础也很棒,但缺乏代码能力,那么你很适合做一个研究者,去研究和开发机器学习算法,不必做过多的工程实践,类似专硕研究生和博士的区别一样。总的来说,数学统计学基础尤为重要,打好数学基础,有助于你更好的入门机器学习。

    这张图片为机器学习算法的分类,这里简单提一下监督学习和无监督学习。大家都知道,机器学习算法就跟人的大脑一样,人的大脑基于观察形成经验对事情做出判断,机器学习基于数据(样本)形成模型对目标(标签)做出预测;那么,样本分为两类,一类为目标已知的数据(样本),一类是目标未知的数据(样本),基于前者形成的模型是监督学习,基于后者的是无监督学习。(因为本文重点在于阐明机器学习中的数学基础,对于机器学习的概念不作详细介绍,这部分目的是要你知道数学对机器学习的重要性)

这个是第一部分“机器学习基础”的重点——机器学习的一般思路。举例:凤姐的女儿去和100个男人相亲,凤姐根据高,富,帅,潜,德共五方面(可以理解为自变量)来决定其成为自己女婿的概率(可以理解为因变量)。根据这五方面在凤姐心中的重要性,凤姐会选择权重w1,w2,w3,w4,w5列出一个得分函数z。而这些权重值w1,w2,w3,w4,w5是由损失函数(图中给出了两种损失函数模型,非凸函数和凸函数)得出的,即损失函数的最优化问题,这里可以将损失函数的横坐标理解为(w1,w2,w3,w4,w5)组成的向量,最优化的解即为损失函数纵坐标取最小值时对应的横坐标(w1,w2,w3,w4,w5),这样就找到了得分函数z,即该问题的机器学习算法模型。

二 微积分基础

    这部分作者只是提到了一些微积分中比较重要的概念及其几何意义,并未具体展开进行讲解,相信大家在本科阶段都学过高数,并且掌握了其知识点,那么我这里做一个分条整理:

1 夹逼准则:用来求极限的一种方法。

2 导数:一阶导数表示曲线变化的快慢,即斜率,二阶导数表示斜率变化的快慢,即凹凸性。

3 方向导数:标量;可以类比一阶导数理解,只不过不是对x方向的求导,而是对某一方向的求导。

4 梯度:矢量;模值表示方向导数的最大值,方向表示方向导数取最大值时的方向。

5 凸函数:Jensen不等式f[E(x)]<=E[f(x)]要理解。

下面贴出梯度和凸函数的图片,梯度图片中,最下面有一个“梯度下降法”,主要用在损失函数的最优化中;凸函数图中,标出了Jensen不等式的几何意义,有助于大家理解。

三 概率与统计基础

这部分的知识点适合以图片的方式呈现(大家注意区分概率,统计是两个概念)。

1 概率

概率的知识点主要分两部分:概率公式和概率分布,如下图。

2 统计

统计的知识点分为三个重要的统计量:期望,方差,协方差。

3 概率与统计

“概率”是已知随机变量的分布,计算某一事件发生的概率。“统计”是对总体作抽样,得到样本,对样本进行估计,然后得到样本的分布情况后,进而得到总体的分布情况。

4 概率统计与机器学习

第一幅图展示的是机器学习的分类——监督学习算法的例子,该算法基于样本(数据)进行训练得出模型,利用模型可以预测未知的标签值。训练相当于统计过程(得出分布),而预测相当于概率的计算过程(得出标签值)。第二幅图是对样本(数据)的特征进行统计,得出其分布X1,X2...Xn,并对标签也进行统计得出分布Y,通过分别计算分布X1,X2...Xn与Y的协方差值,协方差的几何意义是线性相关程度,这样就可以把协方差值极小的分布对应的特征在训练之前排除,减小了计算量,还可以使训练的模型更为准确。

四 线性代数基础

    线性代数这块,与机器学习有关的主要是矩阵乘法的几何意义,我们在本科阶段学习了线性代数,掌握了矩阵相乘,却从未考虑过矩阵相乘的几何意义是什么,当然,老师一般也很少提及。

    举例来说:下图中(1)为一个矩阵相乘,很多人会自然想到它可以看作线性方程组 即(2),而矩阵相乘真正的几何意义在于(3)和(4),即列向量的线性叠加和欧几里得空间的向量合成与分解。

然后,对于矩阵乘法,还有如下优势:

    本文的目的,在于说明数学与机器学习的重要关系,重点提及了一些数学概念,主要是给大家留一个印象,相关的数学知识会在以后慢慢展开。这是我第一次写博客,希望与大家相互交流,共同学习;同时,深感写博客还是蛮花精力与时间的,希望自己可以坚持下去。

--------------------- 本文来自 22世纪_冲刺 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/qq_39975984/article/details/78934859?utm_source=copy

猜你喜欢

转载自blog.csdn.net/weixin_42137700/article/details/82930444