什么是机器学习？
- 机器学习本质上是一种数学模型。机器学习的目的就是自动找函数。
- 因为现实问题往往非常复杂，难以（或者不可能）建立完全精确的数学解析模型，因此机器学习就非常必要。
高中数学学习的最小二乘法也能算得上是一种机器学习，但是现实生活中，能有多少场景能简单到用线性函数就能表达的呢
机器学习分类
- Regression(回归)：要有数值返回值
- Classification（分类）：分为Binary（Yes or No分类），和Multi-class（多种类分类选择）
- Generation（生成）：生产有结构的语句或图片
Supervised Learning（监督学习）
- 提供给机器（数学模型）有label的资料进行学习
函数的LOSS
- 评估模型的准确程度的函数
- loss的来源：Bias和Variance
过度拟合（Overfitting）与欠拟合（Underfitting）
- 通过机器学习得出的模型，在train组表现很好，在test组表现很差即为Overfitting；如果在train组表现就很差，即为Underfitting
- 一般，使用简单的模型，Variance也会较小，但是Bias可能会更大。使用复杂的模型，Bias可能会较小，但是Variance可能会更大
- 如果模型的Variance很大，解决的有效方法是增加train的sample数量；另一个方法就是在loss中增加Regularization（权重的平方和乘以系数λ，让拟合出的函数更加平滑）
梯度下降：学习速率（步长）
- 速率太小：步骤太多，耗时长
- 速率太大：可能跨过（忽略）Loss函数最低点
- 自适应学习速率：学习速率随着学习进展进行变更，每个参数的学习速率也不同
最优化Optimization
- 最优化的几种方法（对步长的计算方式不同）：SGD, SGDM, Adagrad, RMSProp, Adam, SWATS(Adam 和 SGDM综合使用)