目录
基本型、正则化、求梯度、闭式解
线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数
向量形式：
线 性 模 型 形 式 简 单 、易于建模,但却蕴涵着机器学习中一些重要的基本思 想 .许 多 功 能 更 为 强 大 的 非 线 性 模 型 （nonlinear m o d 叫 可 在 线 性 模 型 的 基 础 上 通 过 引 入 层 级 结 构 或 高 维 映 射 而 得 .此 外 ，由 于 付 直观表达了各属性在预测中 的重要性，因此线性模型有很好的可解释性（comprehensibility）.
1.了解一元线性回归和多元线性回归的区别和联系
一元线性回归
多元线性回归
2.掌握线性模型的基本形式和最小二乘目标函数的基本形式
线性模型的基本形式
最小二乘目标函数的基本形式
3.掌握线性模型参数求解方法和闭式解的求解方法
- 线性模型参数求解方法：
最小二乘法：使均方误差（欧氏距离）最小化
- 闭式解的求解方法：
令偏导数为零，联立可解得w, b
4.熟悉L1正则和L2正则的区别和联系（给出图解）
岭回归：
LASSO：
联系：L1和L2正则化都有助于降低过拟合风险
区别：L1更易于获得“稀疏”(sparse)解，即它求得的w会有更少的非零分量。
5.了解Sigmoid函数基本形式
Sigmoid函数：形似“S”的函数，典型代表：
对数几率函数（对率函数）：y=1/(1+e^(-z))
6.了解凸函数和非凸函数的定义
……最优化pass
凸函数:
非凸函数:
7.了解线性判别分析(LDA)的基本思想 （降维）
- 同类样例的投影尽可能接近、异类样例的投影点尽可能远离
8.了解多分类学习问题的基本思想
- 拆解法：将一个多分类任务拆分为若干个二分类任务求解
9.了解类别不平衡问题的定义:
类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数
目差别很大的情况。
