这门课由台湾大学林轩田老师讲授，主要分为四大部分：
- When Can Machine Learn? 在何时可以使用机器学习？
- Why Can Machine Learn? 为什么机器可以学习？
- How Can Machine Learn? 机器可以怎样学习？
- How Can Machine Learn Better? 怎样能使机器学习得更好？
以VC bound（VC 限制）作为总线将整个基础课程贯通讲解了包括PLA（Perceptron Learning algorithm感知器）、pocket、二元分类、线性回归、逻辑回归等等。
什么是“学习”？学习就是人类通过观察、积累经验，掌握某项技能或能力。就好像我们从小学习识别字母、认识汉字，就是学习的过程。而机器学习（Machine Learning），顾名思义，就是让机器（计算机）也能向人类一样，通过观察大量的数据和训练，发现事物规律，获得某种分析问题、解决问题的能力。
机器学习可以被定义为：利用数据计算的经验改进了一些性能指标 （Improving some performance measure with experence computed from data）. 也就是机器从数据中总结经验，从数据中找出某种规律或者模型，并用它来解决实际问题。
技巧是什么？技巧是增进某种表现
机器学习的关键要素
其应用场合大致可归纳为三个条件：
- 事物本身存在某种潜在规律
- 某些问题难以使用普通编程解决
- 有大量的数据样本可供使用
机器学习在我们的衣、食、住、行、教育、娱乐等各个方面都有着广泛的应用，我们的生活处处都离不开机器学习。比如，打开购物网站，网站就会给我们自动推荐我们可能会喜欢的商品；电影频道会根据用户的浏览记录和观影记录，向不同用户推荐他们可能喜欢的电影等等，到处都有机器学习的影子。
机器学习的组成部分，基本符号（basic notations）
- 输入(input)： x∈X
- 输出(output)： y∈Y
- 未知的函数，即目标函数（target function）： f： X→Y
- 数据（data） ， 训练样本（training examples）： D x y x y x y ={( , ),( , ),...,( , ) 1 1 2 2 n n }
- 假设（hypothesis） ： 能够学习到的公式
- 假设集（hypothesis set）用 H 表示，包含各种假设，包括好的假设和坏的假设
- 机器学习算法（learning algorithm） ： 一般用 A 表示
- 可得到的理想模型表达式： g， 通过演算法 A，选择一个最佳的 hypothesis 对应的函数称为 g， g 能最好地表示事物的内在规律，也是我们最终想要得到的模型表达式。
可以通过一个简单的流程图表示
实际中，机器学习的流程图，其中ML被更详细的定义为机器学习算法一般用A表示。还要说明的是机器学习的输入在这个流程图中就变成了两个部分，一个是训练样本集，而另一个就是假设空间H。
对于理想的目标函数f，我们是不知道的，
还多出一个新的项目，就是假设空间或者叫做假设集合，一般用H表示，它是包含各种各样的假设，其中包括好的假设和坏的假设，而这时A的作用就体现了，它可以从H这个集合中挑选出它认为最好的假设作为g。
我们所说的机器学习模型在这里不仅仅是算法A，还包含了假设空间H。
我们手上拿到的是一些训练样本D，假设是监督式学习，其中有输入x，也有输出y。机器学习的过程，就是根据先验知识选择模型，该模型对应的hypothesis set（用H表示），H中包含了许多不同的hypothesis，
通过演算法A，在训练样本D上进行训练，选择出一个最好的hypothes，对应的函数表达式g就是我们最终要求的。一般情况下，g能最接近目标函数f，这样，机器学习的整个流程就完成了。
机器学习与数据挖掘
从定义出发，可以将两者之间的关系分为3种。
- 两者是一致的：能够找出有用的信息就是我们要求得的近似目标函数的假设
- 两者是互助的：能够找出的有用信息就能帮助我们找出近似的假设，反之也可行
- 传统的数据挖掘更关注与从大量的数据中的计算问题
现实中很难区分ML和DM
机器学习与人工智能
人工智能的大概概念就是电脑能够表现出一些智慧行为
从定义可以得到，机器学习是实现人工智能的一种方式
机器学习与统计
统计也需要通过数据，来做一个未知的推论。因此统计是一种实现机器学习的方法。传统的统计学习更关注与数学公式，而非急计算本身。