1 什么是机器学习
机器学习：让机器去学习，去工作。
最早的机器学习应用：垃圾邮件分辨
现有应用：人脸识别、数字识别
算法：
- kNN
- 线性回归
- 多项式回归
- 逻辑回归
- 模型正则化
- PCA
- SVM
- 决策树
- 随机森林
- 集成学习
- 模型选择
- 模型调试
机器学习一般流程：
2 基础概念
2.1 关于数据
数据集（data set）：数据整体
样本（sample）
特征（feature），特征向量，特征空间
标记（label）
2.2 主要任务
1）分类
- 二分类：分类结果为2种
- 多分类：应用 -> 数字识别、图像识别
- 多标签分类
2）回归：结果是一个连续的值，而非一个类别。
2.3 分类
1）监督学习：
- 特点：给机器的训练数据“标记”或“答案”。
- 算法：
- kNN
- 线性回归和多项式回归
- 逻辑回归
- SVM
- 决策树和随机森林
2）非监督学习
- 特点：给机器的训练数据没有“标记”或“答案”。
- 意义：
- 聚类分析：对没有“标记”的数据进行分类。
- 降维处理：特征提取；特征压缩；方便可视化
- 异常检测
3）半监督学习
- 特点：一部分数据有“标记”或“答案”，另一部分没有。
- 处理方法：通常先使用无监督学习手段对数据做处理，之后使用监督学习手段做模型的训练和预测。
4）增强学习
- 特点：根据周围环境的情况，采取行动，根据采取行动的结果，学习行动方式。
- 应用：无人驾驶、机器人
5）在线学习
- 优点：及时反映新的环境变化
- 问题：新的数据带来不好的变化
- 解决方法：加强对数据的监控
6）离线学习（批量学习）
- 优点：简单
- 缺点：适应环境变化能力差，需要更新，每次重新学习，运算量大
- 解决方法：定时重新学习
7）参数学习
- 特点：一旦学到了参数，就不再需要原有的数据集
8）非参数学习
- 不对模型进行过多假设，非参数不等于没有参数。