学好机器学习需要哪些数学知识？
--------------------------------------------------------------------------------------------------------------------------------------
很多同学谈数学色变，但数学是机器学习绕不开的基础知识。今天我们来谈谈这个话题：学好机器学习究竟需要哪些数学知识？
先看知乎上的回答：
大部分读者看到这样的答案之后内心是凄凉的。实变函数，拓扑学，泛函分析，除了数学系之外，很少有其他专业会学这些课程。
真的需要学习这些令人不寒而栗的课程吗？事实上，要理解和掌握绝大部分机器学习算法和理论，尤其是对做工程应用的人而
言，所需要的数学知识大学数学老师已经给你了：
微积分
线性代数
概率论
最优化方法
关键知识点
微积分
先说微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的以下知识点：
- 导数和偏导数的定义与计算方法
- 梯度向量的定义
- 极值定理，可导函数在极值点处导数或梯度必须为0
- 雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求导推导中会用到
- Hessian矩阵，这是2阶导数对多元函数的推广，与函数的极值有密切的联系
- 凸函数的定义与判断方法
- 泰勒展开公式
- 拉格朗日乘数法，用于求解带等式约束的极值问题
其中最核心的是记住多元函数的泰勒展开公式，根据它我们可以推导出机器学习中常用的梯度下降法，牛顿法，拟牛顿法等一系列最优化方法：
线性代数
相比之下，线性代数用的更多。在机器学习的几乎所有地方都有使用，具体用到的知识点有：
- 向量和它的各种运算，包括加法，减法，数乘，转置，内积
- 向量和矩阵的范数，L1范数和L2范数
- 矩阵和它的各种运算，包括加法，减法，乘法，数乘
- 逆矩阵的定义与性质
- 行列式的定义与计算方法
- 二次型的定义
- 矩阵的正定性
- 矩阵的特征值与特征向量
- 矩阵的奇异值分解
- 线性方程组的数值解法，尤其是共轭梯度法
机器学习算法处理的数据一般都是向量、矩阵或者张量。经典的机器学习算法输入的数据都是特征向量，深度学习算法在处理图像时输入的2维的矩阵或者3维的张量。掌握这些知识会使你游刃有余。
概率论
如果把机器学习所处理的样本数据看作随机变量/向量，我们就可以用概率论的观点对问题进行建模，这代表了机器学习中很大一类方法。在机器学习里用到的概率论知识点有:
- 随机事件的概念，概率的定义与计算方法
- 随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数
- 条件概率与贝叶斯公式
- 常用的概率分布，包括正态分布，伯努利二项分布，均匀分布
- 随机变量的均值与方差，协方差
- 随机变量的独立性
- 最大似然估计
这些知识不超出普通理工科概率论教材的范围。
最优化方法
最后要说的是最优化，因为几乎所有机器学习算法归根到底都是在求解最优化问题。求解最优化问题的指导思想是在极值点出函数的导数/梯度必须为0。因此你必须理解梯度下降法，牛顿法这两种常用的算法，它们的迭代公式都可以从泰勒展开公式中得到。如果能知道坐标下降法、拟牛顿法就更好了。
凸优化是机器学习中经常会提及的一个概念，这是一类特殊的优化问题，它的优化变量的可行域是凸集，目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解，因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题，基本上已经宣告此问题得到了解决。在机器学习中，线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。
拉格朗日对偶为带等式和不等式约束条件的优化问题构造拉格朗日函数，将其变为原问题，这两个问题是等价的。通过这一步变换，将带约束条件的问题转换成不带约束条件的问题。通过变换原始优化变量和拉格朗日乘子的优化次序，进一步将原问题转换为对偶问题，如果满足某种条件，原问题和对偶问题是等价的。这种方法的意义在于可以将一个不易于求解的问题转换成更容易求解的问题。在支持向量机中有拉格朗日对偶的应用。
KKT条件是拉格朗日乘数法对带不等式约束问题的推广，它给出了带等式和不等式约束的优化问题在极值点处所必须满足的条件。在支持向量机中也有它的应用。
如果你没有学过最优化方法这门课也不用担心，这些方法根据微积分和线性代数的基础知识可以很容易推导出来。如果需要系统的学习这方面的知识，可以阅读《凸优化》，《非线性规划》两本经典教材。
凸优化 原著链接:https://web.stanford.edu/~boyd/cvxbook/
这本左上这本是翻译版，豆瓣评分很高。
数学知识 -- ML
各种算法和理论用到的数学知识
下面我们来看典型算法和理论结论所用到的数学知识：
除流形学习需要简单的微分几何概念之外，深层次的数学知识如实变函数，泛函分析等主要用在一些基础理论结果的证明上，即使不能看懂证明过程，也不影响我们使用具体的机器学习算法。概率图模型、流形学习中基于图的模型会用到图论的一些基本知识，如果学习过离散数学或者数据结构，这些概念很容易理解。
微积分
下面列出机器学习和深度学习中所需的微积分知识点。
显然，不是课本里所讲的所有内容都是需要的，我们只列出所必须的。
极限。极限是高等数学和初等数学的分水岭，也是微积分这座大厦的基石，是导数、微分、积分等概念的基础。虽然在机器学习里不直接用到极限的知识，但要理解导数和积分，它是必须的。
上确界与下确界。这一对概念对工科的微积分来说是陌生的，但在机器学习中会经常用到，不要看到论文或书里的sup和inf不知道什么意思。
导数。其重要性众所周知，求函数的极值需要它，分析函数的性质需要它。典型的如梯度下降法的推导，logistic函数导数的计算。熟练地计算函数的导数是基本功。
Lipschitz连续性。这一概念在工科教材中同样没有提及，但对分析算法的性质却很有用，在GAN，深度学习算法的稳定性、泛化性能分析中都有用武之地。
导数与函数的单调性。某些算法的推导，如神经网络的激活函数，AdaBoost算法，都需要研究函数的单调性。
导数与函数的极值。这个在机器学习中处于中心地位，大部分优化问题都是连续优化问题，因此可以通过求导数为0的点而求函数的极值，以实现最小化损失函数，最大化似然函数等目标。
导数与函数的凹凸性。在凸优化，Jensen不等式的证明中都有它的应用。
泰勒公式。又一个核心知识点。在优化算法中广泛使用，从梯度下降法，牛顿法，拟牛顿法，到AdaBoost算法，梯度提升算法，XGBoost的推导都离不开它。
不定积分。积分在机器学习中使用的相对较少，主要用于概率的计算中，它是定积分的基础。
定积分。包括广义积分，被用于概率论的计算中。机器学习中很大一类算法是概率型算法，如贝叶斯分类器，概率图模型，变分推断等。这些地方都涉及到对概率密度函数进行积分。
变上限积分。分布函数是典型的变上线积分函数，同样主要用于概率计算中。
牛顿-莱布尼兹公式。在机器学习中很少直接使用，但它是微积分中最重要的公式之一，为定积分的计算提供了依据。
常微分方程。在某些论文中会使用，但一般算法用不到。
偏导数。重要性不用多说，机器学习里绝大部分函数都是多元函数，要求其极值，偏导数是绕不开的。
梯度。决定了多元函数的单调性和极值，梯度下降法的推导离不开它。几乎所有连续优化算法都需要计算函数的梯度值，且以寻找梯度为0的点作为目标。
高阶偏导数。确定函数的极值离不开它，光有梯度值还无法确定函数的极值。
链式法则。同样使用广泛，各种神经网络的反向传播算法都依赖于链式法则。
Hessian矩阵。决定了函数的极值和凹凸性，对使用工科教材的同学可能是陌生的。
多元函数的极值判别法则。虽然不直接使用，但对理解最优化方法至关重要。
多元函数的凹凸性判别法则。证明一个问题是凸优化问题是离不开它的。
Jacobian矩阵。工科教材一般没有介绍这一概念，但和Hessian矩阵一样，并不难理解，使用它可以简化多元复合函数的求导公式，在反向传播算法中广泛使用。
向量与矩阵求导。常见的一次函数，二次函数的梯度，Hessian矩阵的计算公式要烂熟于心，推导并不复杂。
多重积分。主要用于概率论中，计算随机向量的积分，如正态分布。
泰勒公式。理解梯度下降法，牛顿法的优化算法的基石。
偏微分方程。在某些理论推导中可能会使用，如变分法中的欧拉-拉格朗日方程。
线性代数&矩阵
向量及其运算。机器学习算法的输入很多时候是向量，如样本的特征向量。因此熟练掌握向量以及常用的运算是理解机器学习的基础。
矩阵及其运算。与向量一样，是线性代数的核心概念，各种运算，常用矩阵，必须烂熟于心。
行列式。直接使用的少，在概率论，某些模型的推导中偶尔使用。
线性方程组。直接使用的少，但这是线性代数的核心内容。
特征值与特征向量。在机器学习中被广泛使用，很多问题最后归结于求解矩阵的特征值和特征向量。如流形学习，谱聚类，线性判别分析，主成分分析等。
广义特征值。工科线性代数教材一般不提及此概念，但在流形学习，谱聚类等算法中经常用到它。
Rayleigh商。工科教材一般不提及它。在某些算法的推导过程中会用到，如线性判别分析。
矩阵的谱范数与条件数。工科教材一般不提及它。在某些算法的分析中会用到它，它刻画了矩阵的重要性质。
二次型。很多目标函数是二次函数，因此二次型的地位不言而喻。
Cholesky分解。某些算法的推导中会用到它，工科教材一般不提及它。
特征值分解。对机器学习非常重要，很多问题最后归结于特征值分解，如主成分分析，线性判别分析等。
奇异值分解。在机器学习中广泛使用，从正态贝叶斯分类器，到主题模型等，都有它的影子。
概率论
随机事件与概率。这是理解随机变量的基础，也是概率论中最基本的知识。
条件概率与独立性。条件概率非常重要，在机器学习中，只要有概率模型的地方，通常离不开它。独立性在很多地方也被使用，如概率论图模型。
条件独立。在概率论图模型中广泛使用，一定要理解它。
全概率公式。基础公式，地位不用多说。
贝叶斯公式。在机器学习的概率型算法中处于灵魂地位，几乎所有生成模型都要用到它。
离散型随机变量与连续型随机变量。重要性不用多说，概率质量函数，概率密度函数，分布函数，一定要熟练掌握。
数学期望。非常重要，好多地方都有它的影子。
方差与标准差。非常重要，刻画概率分布的重要指标。
Jensen不等式。在很多推导和证明中都要用它，如EM算法，变分推断。
常用的概率分布，包括均匀分布，正态分布，伯努利分布，二项分布，多项分布，t分布等，在各种机器学习算法中广泛使用。
随机向量。多元的随机变量，在实际中更有用。
协方差。经常使用的一个概念，如主成分分析，多元正态分布中。
参数估计。包括最大似然估计，最大后验概率估计，贝叶斯估计，核密度估计，一定要弄清楚它们是怎么回事。
随机算法，包括采样算法，遗传算法，蒙特卡洛算法，在机器学习中也经常使用。
信息论中的一些概念，包括熵，交叉熵，KL散度，JS散度，互信息，信息增益，一定要深刻理解这些概念。如果你不理解KL散度，那怎么理解变分推断和VAE？
https://zhuanlan.zhihu.com/p/81834108
凸优化 入门
凸分析和凸优化有什么推荐的教材吗？ - 知乎
https://www.zhihu.com/question/62642163
机器学习中的优化理论，需要学习哪些资料才能看懂？ - 知乎
https://www.zhihu.com/question/25120338/answer/150209313