机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习步骤：define a set of function->goodness of function->pick the best function
分类
1、Non-linear Model(非线性模型)
例如：预测明天上午的PM2.5
与线性模型区别：
①线性模型是可用曲线拟合的，但分类的决策边界一定是直线的
②区分线性模型主要看自变量x的系数w是否只影响一个x，若是，则是线性模型
③举例：
2、Classification(分类）
在所有输入当中选择类别，例如：在输入的邮件中选择垃圾邮件。给新闻分类（政治、经济、娱乐、、、）
另外机器学习下围棋也是在分类
3、Transfer Learning(迁移学习）
通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。
迁移学习按照学习方式可以分为基于样本的迁移，基于特征的迁移，基于模型的迁移，以及基于关系的迁移。
4、Unsupervised Learning(无监督学习）&Supervised Learning(监督学习）
在监督学习中，赋给算法的数据里包含着期望得到的结果，这些东西叫 Labels（标签）。比如一个邮件垃圾过滤系统，训练它的时候用的邮件数据带着标签，邮件实例的标签表示邮件是正常邮件，还是垃圾邮件。
常见的监管学习任务有 Classification（分类）。邮件垃圾过滤器得到一个邮件，会知道它的类别属于正常邮件还是垃圾邮件。
还有种常见的任务是预测目标值。比如一辆二手车，根据它的一些 Features（特征），比如里程，车龄，品牌等等来预测这辆车的价值。这种任务叫 Regression（回归），它是统计学里的概念。训练这种系统，你得提供很多汽车示例，包含他们的 Predictors（就是上面提到的 Features），还有 Labels，比如汽车的价格。
在机器学习中，Attribute（属性） 是一种数据类型，比如汽车的里程。Feature 根据语境有几种意思，一般它表示的就是：属性 + 值，比如 里程：15,000。 有时候这两个名词也会交替使用。
无监督学校，同样，给了样本，但是这个样本是只有数据，但是没有其对应的结果，要求直接对数据进行分析建模。
比如我们去参观一个画展，我们完全对艺术一无所知，但是欣赏完多幅作品之后，我们也能把它们分成不同的派别(比如哪些更朦胧一点，哪些更写实一些，即使我们不知道什么时候叫做朦胧派，什么叫做写实派，但是至少我们能够把它们分为两类)。无监督学习里面典型的例子就是聚类，聚类的目的在于把相似的东西聚在一起，而我们并不关心这一类是什么，因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。
“再比如，买房的时候，给了房屋面积以及其对应的价格，进行分析，这个就叫做监督学习；但是给了面积，没有给价格，就叫做非监督学习。监督，意味着给了一个标准作为'监督' (或者理解为限制)。就是说建模之后是有一个标准用来衡量你的对与错；非监督就是没有这个标准，对数据进行聚类之后，并没有一个标准进行对其的衡量。”
5、Reinforcement Learning
Supervised VS Reinforcement Learning
S:手把手教，有正确答案learning from teacher
R:无正确答案learning from critics
