《机器学习基石》——林轩田（笔记一）

定义

机器学习：理论与实践相结合的科学。

本课程定位

从方法和技术方面切入都有不同程度的缺点，本课程从基础切入。（机器学习在哲学上的理解，数学方法的推演等）

哲学描述、关键的理论、核心的方法、实践的应用和有帮助的一些笑话的混合是任何一个机器学习者都应该知道的。 ——林轩田

story-like：
- when can ml?(illustrative + technical)
- why can ml?(theoretical + illustrative)
- How can ml?(technical + practical)
- How can ml better?(practical + theoretical)

相关概念

学习：从观察出发，然后通过我们大脑处理而获得技巧的一种能力。
observation→learning→skill
机器学习：模仿人类的学习过程，从数据出发经过处理获得一些技能。
data→ML→skill

什么是技巧？

改善某一种表现的手段，或者说是有某一种表现增进。对ML而言，预测的更准，识别率更高都属于电脑学到了技巧。

机器学习的三个关键：

• 有一种表现或者效能能够增进，也就是表示这个问题可以学；
• 一些程式定义很困难，只能交给机器去做；
• 有资料（数据）。

例子

银行决定是否给客户发放信用卡。
- pattern：customer behavior；
- definition：not easily programmable；
- data：history of bank operation。

---

机器学习流程的理解：
我们输入一个数据集给电脑$D = {\{(X_{i},Y_{i})(i = 1,2...n)}\}$，然后电脑根据这个数据集D学习一个模型patten $g$，显然这个模型$g$与数据集D的原始生成模型$f$是有差别的，但是我们希望这个$g$很接近真实的模型$f$，然后我们再通过$g$对新的实例进行预测。

机器学习更具体的定义：

机器学习就是我们从资料出发，要算出一个假说，一个hypothesis，也就是上面提到的$g$，我们希望这个$g$要很进阶我们真正心里最渴望的那个$f$，而这个$f$是用来产生资料的（但是我们不知道$f$具体是什么）。

• 数据挖掘VS机器学习：
  数据挖掘希望能够用资料去找出一些有趣的事情。如果将这个“有趣的事情”当做是找到“找到与真实目标$f$相近的$g$”那么数据挖掘就跟机器学习是一回事情了。实际上，机器学习和数据挖掘是两个十分相近的领域。
• 人工智能VS机器学习：
  人工智能希望通过计算某些东西使得计算机表现出一些智能的行为，比如下棋、开车等。如果说机器学习中我们想要找到的$g ≈ f$是一个智能的行为，那么我们就可以说机器学习有助于人工智能，机器学习是人工智能的基础，是实现人工智能的一种方法。
• 统计VS机器学习
  统计是使用数据对于我们一些不知道的问题作出一些推论。从某种意义上来说机器学习中的$f$就是我们不知道的事，而$g$则是我们对于$f$的推论，所以从这个角度来说统计实际上是实现机器学习的一种方法。在机器学习里用到了很多统计学的工具。