其实，我一直相信这么一句话：数学其实很容易，只是有些数学家讲得不明白
一、ML与高等数学
1、导数/梯度
2、Taylor展开
3、凸函数
二、ML与概率统计
概率与统计，其实关注的是两个不同类的点，实际上是两个相反的思路。
概率：已知总体，去求具体事件A的概率；
统计：已知某件事B发生，估计产生事件B的总体概率是多少。
1、古典概率
2、贝叶斯公式
3、常见概率分布
4、重要统计量(基于全局的而不是样本)
(1)、期望与方差
期望：可以理解为这个变量的平均值，是对随机变量本身“客观价值”的一种表现。因为随机无法确定，大家心里需要有个数，这个随机的因素到底围绕的哪条线变化，期望就是那条线。
方差：是另一种特征，他描述的是随机变量的波动性（围绕着期望波动）的大小。方差越大，说明这个事变数越大，容易偏离平均值很远。
(2)、协方差与相关系数
协方差：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？ 你变大，同时我也变大，说明两个变量是同向变化的，这时协方差就是正的。 你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的。 从数值来看，协方差的数值越大，两个变量同向程度也就越大。反之亦然。
相关系数：是用以反映变量之间相关关系密切程度的统计指标。比如，降维算法就是从10万变量中，挑选相关系数Top1000。
- 相关系数是指利用ML提取的10万个特征向量，分别与标签向量之间得到，从而挑选相关系数。
-
相关系数矩阵可以发现特征之间的相关性，越蓝越靠近1越正相关。
(3)、独立和不相关
5、不等式系列
Jensen不等式
切比雪夫不等式
大数定律
中心极限定理
6、样本估计参数
矩估计
极大似然估计