目录
AI相关的主要数学知识包括微积分、线性代数、概率论和最优化。
一、微积分
1.1、相关知识点
导数与求导公式、一阶导数与函数单调性、一元函数极值判定法、高阶导数、二阶导数与函数凹凸性、一元函数泰勒展开
1.2、应用
在机器学习中主要用到微积分的微分部分，作用是求函数极值；
1）导数和偏导数的定义与计算方法；
2）梯度向量定义；
3）极值定理，可导函数在极值点导数（梯度）为0；
4）雅可比矩阵，向量到向量映射函数的偏导构成的矩阵，在求导推导中会用到；
5）Hession矩阵，是二阶导数对多元函数的推广，与函数极值有密切关系；
6）凸函数的定义与判断方法；
7）泰勒展开公式（核心），可以推导出梯度下降法、牛顿法、拟牛顿法等最优化算法；
8）拉格朗日乘数法，用于求解带等式约束的极值问题；
二、线性代数
2.1、相关知识点
向量及其运算、矩阵及其运算、张量、行列式、二次型、特征值与特征向量
2.2、应用
机器学习中处理的数据一般都是向量、矩阵、张量，经典机器学习算法输入的数据都是特征向量，深度学习算法在处理图像时输入的二维矩阵或3维张量；
1）向量及其运算，包括加法、减法、数乘、转置、内积
2）向量及矩阵范数，L1范数、L2范数
3）矩阵及其运算，包括加法、减法、乘法、数乘
4）逆矩阵的定义与性质
5）行列式的定义与计算方法
6）二次型的定义
7）矩阵的正定性
8）矩阵的特征值与特征向量
9）矩阵的奇异值分解
10）线性方程组数值解法（如共轭梯度法）
三、多元函数微积分
3.1、相关知识点
高阶偏导数、雅克比矩阵、Hessian矩阵、多元函数泰勒展开、多元函数极值判定法则、奇异值分解SVD、
四、概率论
4.1、相关知识点
随机事件与概率、条件概率与贝叶斯公式、随机变量、随机变量的期望和方差、常用概率分布（正太分布、均匀分布、伯努利二项分布）、随机向量（联合概率密度函数等）、协方差与协方差矩阵、最大似然估计
五、最优化
5.1、相关知识点
1）机器学习算法最终目标就是求最优解，而求最优解问题的指导思想是在极值点处函数导数/梯度为0；
2）凸优化，其最好特性是所有局部最优解为全局最优解；
3）拉格朗日对偶与KKT条件
六、主要算法与数学知识点对应关系
| 算法 | 数学知识 |
|---|---|
| 贝叶斯分类器 | 随机变量、贝叶斯公式、随机变量独立性、正态分布、最大似然估计 |
| 决策树 | 概率、熵、Gini系数 |
| KNN算法 | 距离函数 |
| 主成分分析 | 协方差矩阵、散布矩阵、拉格朗日乘数、特征值与特征向量 |
| 流行学习 | 流行、最优化、测地线、测地距离、图、特征值与特征向量 |
| 线性判别分析 | 散度矩阵、逆矩阵、拉格朗日乘数、特征值与特征向量 |
| 支持向量机 | 点到平面的距离、Slater条件、强对偶、拉格朗日对偶、KKT条件、凸优化、核函数、Mercer条件 |
| Logisitc | 概率、随机变量、最大似然估计、梯度下降法、凸优化、牛顿法 |
| 随机森林 | 抽样、方差 |
| AdaBoost算法 | 概率、随机变量、最大似然估计、梯度下降法、凸优化、牛顿法 |
| 隐马尔科夫模型 | 概率、离散型随机变量、条件概率、随机变量独立性、拉格朗日乘数、最大似然估计 |
| 条件随机场 | 条件概率、数学期望、最大似然估计 |
| 高斯混合模型 | 正态分布、最大似然估计、Jensen不等式 |
| 人工神经网络 | 梯度下降法、链式法则 |
| 卷积神经网络 | 梯度下降法、链式法则 |
| 循环神经网络 | 梯度下降法、链式法则 |
| 生成对抗网络 | 梯度下降法、链式法则、极值定理、Kullback-Leibler散度、Jensen-shannon散度、测地距离、条件分布、互信息 |
| K-means算法 | 距离函数 |
| 贝叶斯网络 | 条件概率、贝叶斯公式、图 |
| VC维 | Hoeffding不等式 |