线性模型的基本形式
- 向量表现形式：y=w’x+b
- 目标：求均方误差最小的w和b
线性回归
- 线性回归问题的闭合解
- 线性回归的矩阵表示
对数几率回归
- 将线性模型稍作变化： ln(y) = w’t+b
- 如果我们把ln函数抽象为一种广义的函数（联系函数g()），就可以得到广义线性模型：g(y)=w’t+b
- 寻找单调可微分的函数来实现二分类任务，这样可以使得计算结果从0和1的离散跳跃问题编程连续的问题，使得计算结果更加精细
- 最理想的函数是阶跃函数：预测值大于零就是正例，小于零就是反例，临界时随意
- 但是阶跃函数不连续，所以我们需要找到近似来替代
- 对数几率函数：y=sigmoid(x)=1/(1/1+e^-z);z=w’x+b
- ln(y/(1-y))=w’x+b 其中y/(1-y)成为几率，也就是正例概率/反例概率的相对值，也就是ln(p(y=1|x,b)/p(y=0|x,b)=w’x+b
- 给定数据集，可以使用最大似然函数进行估计
线性判别分析
主要原理是通过直线的投影来进行监督降维的分类，原则是同类的样例尽可能的接近，而不同类的样例尽可能的疏远。需要用到数学中的拉格朗日乘子法和奇异值分解的方法。
多分类学习
可以把多分类的问题转换成二分类的问题，包括OvO、OvR、MvM等；也可以通过编码矩阵来解，包括二元码、三元码等。
类别不平衡问题
不同类别的样例数量差别很大的时候，小类往往更重要，我们可以通过正样例/负样例的比例来代替原来的1作为阈值。也可以采用过采样、欠采样、阈值移动等方法来进行处理。
