目录
机器学习算法 = 模型表征 + 模型评估 + 优化算法
优化算法：在模型表征空间中，找到模型评估指标最好的模型。
01 有监督学习的损失函数
问题1：常见的损失函数？及其优缺点？
（1）二分类问题的损失函数
0-1损失函数：
0-1损失的代理损失函数1：Hinge损失函数
0-1损失的代理损失函数2：Logistic损失函数
代理损失函数3：交叉熵损失函数
（2）回归问题
损失函数：平方损失函数
绝对损失函数：
Huber损失函数：
02 机器学习中的优化问题
凸优化基本概念
03 经典优化算法
经典优化算法：直接法和迭代法
04 梯度验证
05 随机梯度下降法
06 随机梯度下降法的加速
问题1：随机梯度下降法失效的原因：摸着石头下山
问题2：解决之道：惯性保持和环境感知
动量方法、AdaGrad方法、Adam方法
07 L1正则化与稀疏性
问题1：L1正则化使得模型参数据具有稀疏性的原理
（1）解空间角度
（2）函数叠加角度
（3）贝叶斯先验角度