【台大林轩田《机器学习基石》笔记】Lecture 1——The Learning Problem

Lecture 1:The Learning Problem

1.1 What is Machine Learning

Definition

什么是“学习”？对人类来说，学习就是从观察出发，积累经验，最终掌握某种技能（比如通过听觉掌握说话，通过视觉掌握书写等）

对于机器学习，顾名思义，就是将上述的学习过程主体换成机器，如果对于技能具体定义为增进某种东西的表现，那么机器学习可以定义为：

机器学习是机器通过观察数据总结经验，最终得到某种表现的提升（解决实际问题）

举个栗子：提供给计算机股票相关的数据，计算机通过学习，最终得到更高的投资收益（收益更高的投资方法）

Key Essence of Machine Learning

上面介绍了机器学习的定义，那么在什么情况下适合使用机器学习解决问题？

• Exist some ‘underlying pattern’ to be learned(问题存在潜在的模式可以学习)
• No easy programmable definition(无法通过普通的编程定义并解决问题)
• There is data about the pattern(存在学习所需要的数据)

1.2 Applications of Machine Learning

机器学习在衣食住行各个方面都存在广泛的应用

1.3 Components of Machine Learning

例子：

银行需要决定是否要发信用卡给客户

课程中的符号表示：
输入：$x$（申请人）

输出：$y$（是否发卡）

目标函数：$f$（想要学习的函数）

数据集（资料）：$D$

假设hypothesis：机器学习不见得学到$f$，我们希望机器学习到一个函数，我们称作假设：$g$，$g$的效果在对应问题上很好（也就是说$f$是理想的函数（或者说模式），而$g$是能够学习到的表现最好的函数）

更详细的流程图：

理想的目标函数$f$是不知道的，我们只有一些训练样本组成的训练集$D$,这些训练样本是满足理想的目标函数$f$的，然后通过某种算法，从假设集合$H$中选择出机器认为最好的一个假设,也就是函数$g$，使得$g$与$f$尽可能相似，最终要求的就是$g$，这样就完成了整个机器学习的流程

最终的机器学习模型包括两部分：算法$A$,假设集合$H$

1.4 Machine Learning and Other Fields

这一部分介绍了机器学习与其他领域的关系

机器学习与数据挖掘：

机器学习：Use data to compute hypothesis $g$ that approximates target $f$

数据挖掘：Use (huge) data to find property that is interesting

如果数据挖掘当中有用的属性就是机器学习所需要的假设（函数$f$），那么二者是相同的

如果二者是相关的但并非完全相同，那么机器学习和数据挖掘可以互相支持

实际上完全区分二者是非常困难的

机器学习与人工智能

人工智能：Compute something that shows intelligent behavior

我们可以看成机器学习是实现人工智能的一种方法

机器学习与统计

统计：Use data to make inference about an unknown process

可以把$g$看作推论的结果，$f$看作是未知，从这个角度，统计是用于实现机器学习的一种方法

传统统计学更关注于数学假设下获得的可证明推论

1.5 Summary

这节课主要介绍了机器学习的概念，以及机器学习的使用条件与具体应用

然后也介绍了机器学习的流程，与其他类似领域进行了比较