机器学习与函数
- 机器学习可以归结为学习一个函数(f)，把输入变量(X)映射到输出变量(Y)：如，
- 算法可从训练数据中学习这样的目标映射函数。
- 函数的形式是未知的，我的工作正为机器学习从业人员评估不同的机器学习算法，从而看一看哪一个算法更接近潜在的函数。
不同的算法对函数的形式有不同的假设或者偏见，以及如何学习目标函数。
参数机器学习算法
假设可以最大程度地简化学习过程，与此同时也限制可以学习到是什么。这种算法简化成一个已知的函数形式，这称为参数机器学习算法。
A learning model that summarizes data with a set of parameters of fixed size (independent of the number of training examples) is called a parametric model. No matter how much data you throw at a parametric model, it won’t change its mind about how many parameters it needs.
——Artificial Intelligence: A Modern Approach, page 737
这种算法包括两种步骤：
选择一种目标函数的形式
从训练数据中学习目标函数的系数。
一种最容易理解目标（映射）函数的形式就是一条直线，用于线性回归：
此处的b0、b1和b2是直线的系数，用于控制直线的截距和斜率，x1和x2是两个输入变量。
把目标函数的形式假设为一条直线大大简化了学习过程。现在，我们需要做的是估计这个直线等式的系数，和有一个预测模型的问题。
通常假设函数的形式是一个输入变量的线性组合，因此这种参数机器学习算法经常也称为“线性机器学习算法”。
问题是，实际的未知潜在函数可能不是一个线性函数，比如一条直线。它可能接近一条直线和需要一些细微的输入调整。或者可能不像一条直线，在这种情况下，假设就是错误的，这种方法将会产生很差的结果。
参数机器学习算法的一些常见例子包括：
- Logistic Regression
- LDA（线性判别分析）
- 感知机
- 朴素贝叶斯
- 简单的神经网络
参数机器学习算法的优点：
- 简单：这些算法很容易理解和解释结果；
- 快速：参数模型可以很快从数据中学习；
- 少量的数据：它们不需要太多的训练数据，甚至可以很好地拟合有缺陷的数。
参数机器学习算法的局限性：
- 约束：这些算法选择一种函数形式高度低限制模型本身；
- 有限的复杂性：这种算法可能更适合简单的问题；
- 不适合：在实践中，这些方法不太可能匹配潜在的目标（映射）函数。
非参数机器学习算法
不对目标函数的形式作出强烈假设的算法称为非参数机器学习算法。通过不做假设，它们可以从训练数据中自由地学习任何函数形式。
Nonparametric methods are good when you have a lot of data and no prior knowledge, and when you don’t want to worry too much about choosing just the right features.
——Artificial Intelligence: A Modern Approach, page 757
- 在构造目标函数时，非参的方法寻找最合适的训练数据，同时保留一些对不可见数据的泛化能力。因此，这些非参方法能够拟合大多数的函数形式。
- 一种理解非参模型的最好例子是KNN算法，对于一个新的数据实例，KNN基于K个最相似的训练模式（已标记的实例）。这种方法除了模式可能更接近有一个相似的输出变量之外，不需要对目标函数的形式作出任何的假设。
非参数机器学习算法的一些常见例子包括：
- KNN
- 决策树，比如CART和C4.5
- SVM
非参数机器学习算法的优点：
- 灵活性：拟合大量的不同函数形式；
- 能力：关于潜在的函数不需要假设（或者若假设）；
- 性能：可以得到用于预测的高性能模型。
非参数机器学习算法的局限性：
- 更多的数据：需要更多的训练数据用于估计目标函数；
- 慢：训练很慢，因为它们常常需要训练更多的参数；
- 过拟合：更多的过度拟合训练数据风险，同时它更难解释为什么要做出的具体预测。