目录：
在看了liuyubobobo、吴恩达、林轩田老师的课程以及很多博客的内容后，决心做一个知识点的大整理，梳理整个学习的脉络。
在学习过更多的内容后，可能会添加上一些新的理解。
1-1 为什么需要机器学习
对于传统的算法来说，比如排序算法，是交给机器来执行。
比如解决垃圾邮件的分辨，使用传统算法的解决问题思路：
- 编写规则，定义“垃圾邮件”，让计算机执行
但这种处理方法的问题在于，判断垃圾邮件的规则是很难定义的，而且规则还在不断变化。
现实生活中很多问题都是这样的类型，比如图像识别，什么样的图片是狗，什么样的图片是猫。所以我们需要机器去学习，寻找图片和内容之间的联系。
1-2 学习要点
对于机器学习学科的学习，相较于传统的算法学习，不仅要理解实现算法，还需要掌握如何评价算法的好坏，如何解决欠拟合和过拟合，如何调节算法的参数，如何验证算法的正确性。
1-3 数据的理解
机器学习的过程就是喂给计算机数据，让其根据算法找出数据与结果的关系。
首先来了解喂给机器的数据。
以鸢尾花数据集为例。
鸢尾花数据集是每一列（除最后一列外）为一个特征，每一行为一个样本。整个数据，记录下每个样本的四个特征，分别是花瓣长度、花瓣宽度、萼片长度、萼片宽度，最后给出这个样本所属的鸢尾花类别。
在用字母表示数据时，为了进行区分，一般大写字母表示矩阵，小写字母表示向量。
每一个样本的特征称为特征向量。每一个样本的本质就是在特征所组成的空间中的一个点。这个空间称之为特征空间。
1-4 机器学习的分类
learning with different data label y
根据给入的数据集的特点，可以将机器学习分为：
- 监督学习
- 非监督学习
- 半监督学习
- 增强学习
监督学习：给机器的训练数据是有标记的
- 分类
- 回归
非监督学习：给机器的训练数据是没有标记的。很多时候非监督学习的核心是辅助监督学习：
- 异常检测
- 聚类
- 降维：
- 特征提取：信用卡的信用评级和人的胖瘦无关？
- 特征压缩：不扔掉任何特征，只是一些特征的关联性非常强，将其进行压缩。
半监督学习：一部分数据有标记，另一部分数据没有，这种数据更加常见。通常都先使用无监督学习手段对数据做处理，之后使用监督学习手段做模型的训练和预测。
增强学习：根据周围环境的情况，采取行动，根据采取行动的结果，学习行为方式
比如根据用户点击而不断改进的广告系统。
learning with different protocal f(Xn,yn)
根据喂数据的方式，可以将机器学习分为：
- 批量学习（Batch Learning）
- 在线学习（Online Learning）
批量学习（batch learning）：训练模型时，一口气将数据集全部喂给机器，训练好模型后，不再进行模型的更改。
- 优点：简单
- 存在的问题：如何适应环境的变化
- 解决方案：定时重新批量学习
- 缺点：每次重新批量学习，运算量巨大，在某些变化非常快的环境下，甚至是不可能的（比如股票市场）
在线学习（online learning）：应用模型得到想要的结果，再将新输入的样例的结果反馈给机器，不断改进模型。
- 优点：及时反映新环境的变化，也适用于数据量巨大，无法一次批量学习的情况。
- 问题：新数据带来不好的变化
- 解决方案：加强对数据的监控
Learning with different algorithm
根据机器学习算法是否先对模型进行假设，将其分为：
- 参数学习
- 非参数学习
参数学习：一旦学到了参数，就不再需要原有的数据集
非参数学习：不对模型进行过多假设，注意非参数不等于没参数
1-5 和机器学习相关的“哲学”思考
数据即算法？
在微软2001年的一篇论文中统计到，随着喂给机器的数据量的增大，所有的算法的准确率都在稳步提升，趋近相同。
就目前而言，数据确实是非常重要的，目前的机器学习主要还是以数据驱动的。所以需要我们在实际使用算法时，要花费更多的时间在收集数据，提高数据的质量，提高数据的代表性，研究更重要的特征。
算法为王？
AlphaGo zero的突破在于人类并没有给alphago输入任何的数据，而是让其从零开始学习。说明对于某一些领域，即使没有数据，算法本身也会生成相应的数据。
再好的数据，都需要高效的算法作为辅助，才能发挥数据本身的作用。
Occam’s Razor
奥卡姆的剃刀定理说到，simple is good.
建议我们在使用算法时，不要对模型进行过多的假设
No Free Lunch
没有免费的午餐定理：可以严格地用数学推导出：任意两个算法，他们的期望性能是相同的。
所以在有些问题中，A算法会比B算法好，但在另一些问题中，B算法会比A算法好，但是两个算法的整体期望值是相同的。
所以，具体到某个特定问题，有些算法可能更好。没有一种算法，绝对比另一种算法好。
面对不确定的世界，怎么看待使用机器学习进行预测的结果
机器预测正确的结果，是由于巧合还是其他的原因。
同时有些涉及到伦理的问题，比如机器预测出这样的相貌犯罪率60%，这样的预测结果是否有意义。
