1、线性模型基本形式
给定有d个属性描述的示例x=(x1,x2,……,xi)，其中xi是x在第i个属性上的取值，w=(w1,w2,……，wi)，则可以表示为线性关系：
2、线性回归（linear regression）：试图学得一个线性模型以尽可能准确地预测实值输出标记。
（1）对于离散属性，若属性存在序(order)关系，可通过连续化将其转化为连续值；若不存在序关系，则可以转换为k维向量；
（2）均方误差是衡量f(x)和y之间区别的最常用性能度量，基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method)，在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小；
（3）也可令预测值逼近y的衍生物，如对数线性回归（log-linear regression）：
更一般的考虑单调可微函数g(·)，得到广义线性模型(generalized linear model)：
其中g(·)称为“联系函数”(link function)。
3、对于分类任务，我们要找一个单调可微函数将真实标记y和线性回归模型的预测值联系起来。
（1）最理想的是单位阶跃函数(unit-step function)：
但是由于单位阶跃函数不连续，所以我们可以找近似单位阶跃函数的替代函数——对数几率函数：
将z=wTx + b带入得到：
等式左侧被称为对数几率（log odds），对应模型称为“对数几率回归”（logistic regression），虽然名字带回归，但是是一种分类学习算法。
4、线性判别分析（LDA）
（1）一种监督学习的降维技术，概括为“投影后类内方差最小，类间方差最大”；