机器学习工程师

第1课 微积分

---

简介：数学在机器学习中的应用

模型建立与选择：对工程问题进行抽象和量化

• 涉及数学知识i：综合运用微积分，线性代数，概率统计以及组合数学的知识
• 例如：
  • 各类深度模型中的网络结构与损失函数
  • 支持向量机中的向量空间和度量
• 模型训练
  • 优化算法：高效稳定的对各类损失函数求极值
  • 涉及数学知识：微积分以及优化理论

微分学基本思想和方法

逼近是人类探讨复杂问题时经常使用的一种手段：

• 人均GDP：使用常数函数来逼近收入分布函数
• 平均速度：使用线性函数来逼近实际运动轨迹
• 年化收益率：使用指数函数来逼近收益函数

微分学的核心思想：函数逼近

      微分学的核心思想是用熟悉且简单的函数对复杂函数进行局部逼近。

常用作逼近的简单函数包括：

• 线性函数：函数的一阶导数
• 多项式函数：泰勒级数

当你的局部很小的时候，你可以进行局部逼近，局部逼近才可以使用微积分，往后的延伸，都是局部的。

一个变量的线性函数： $y=kx+b$
两个变量的线性函数： $y=k_1x_1+k_2x_2+b$

二次多项式： $y=ax^2+bx+c$
多元多项式： $y=k_{11}x_1^2+k_{12}x_1x_2+k_{22}x_2^2+……$

微积分的基础语言：极限论

极限的表述方式：

• 自然语言：当 $x$趋向于 $a$时， $f(x)$的极限是L。

• 数学符号： $\color{red}\lim\limits_{x→a}f(x)=L$

• 标准语言：对于任意的 $\epsilon$ > 0 ，存在一个 $\delta$ > 0 ,使得对于任何的 $x_*\in(a-\delta，a+\delta)$，都有 $|f(x_*)-L|<\epsilon$

• 无穷小
  一般把趋于零的极限称为无穷小
  无穷小阶数：
  趋于零的速度越快的无穷小，其阶数越高。比 $x^n,x→0$，趋于零输入还快的无穷小记为 $o(x^n)$

• 两边夹定理
  如果 $f(x)<g(x)<h(x)$，而且这三个函数都在a点处有极限，那么 $\lim\limits_{x→a}f(x)\le \lim\limits_{x→a}g(x)\le \lim\limits_{x→a}h(x)$

• 重要极限：(两边夹定理应用)

  • 三角函数： $\color{red}\lim\limits_{x→0}\frac{sin(x)}{x}=1$
  • 自然对数底数： $\color{red}e=\lim\limits_{n→\infty}(1+\frac{1}{n})^n$
  • 指数函数： $\color{red}\lim\limits_{x→0}\frac{e^x-1}{x}=1$

30分

微分学的基本手法：求导数

从线性逼近到多项式逼近：泰勒级数

从低维到高维：多元函数的梯度

梯度下降法和牛顿法

随机梯度下降

随机梯度下降的问题与挑战

随机梯度下降的优化算法选讲

第2课 概率论

第3课 线性代数

第4课 凸优化

第5课 回归问题与应用

第6课 决策树、随机森林、GBDT

第7课 SVM

第8课 最大熵与EM算法 -1

第9课 最大熵与EM算法 -2

第10课 机器学习中的特征工程处理

第11课 多算法组合与模型最优化

第12课 高级工具xgboost/lightGBM与建模实战

第13课 用户画像与推荐系统

第14课 聚类

第15课 聚类与推荐系统实战

第16课 贝叶斯网络

第17课 隐马尔科夫模型HMM

第18课 主题模型

第19课 神经网络初步

第20课 卷积神经网络与计算视觉

第21课 循环神经网络与自然语言处理

第22课 深度学习实战

公式

公式
$\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$
$y^\infty{2}$
$y^{2}$
$y{2}$
$y^2$
$\inf_{2}$
$y_{2}$
$y2$
$a_2^{2^{2^2}}$
$2^32,a_12$
$2^{32},a_{12}$
$1+\frac{1}{2+\frac{1}{3+\frac{1}{4+\frac{1}{5+\dots}}}}$
$\lim\limits_{x→0}x\frac{x}{sinx}$
$\sum\limits_{k=1}^nkx$
$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$