1. 数据处理
- 转换数据格式
比如将名称用数字表示、浮点数转为整数 - 特征值的类型
离散型还是连续型，这会影响算法的选择
- 特征值的提取
去掉没用的数据比如 ID 值
去掉发生频率太低的特征
直接提取有用的特征
需要的话整合特征，比如
取一段时间内的均值做特征值
取两列数据的和做特征值
取两列数据的皮尔逊相关系数 (Pearson Correlation Coefficient) 做特征值 - 特征值编码
比如一个特征有5个值，自然顺序编码可以用 1~5 代替，独热编码用 00001、00010 表示 - 特征值缺失：
照样使用、扔掉、还是填补
填补方式
取特殊值如 -1、0、Null 填补
取均值填补
极大似然估计、建模预测、高维映射、多重插补等 - 标签值缺失
扔掉 - 重复数据
扔掉还是照样使用 - 异常值 (outlier) 处理
扔掉、鲁棒回归、或者使用对数或者高斯核对其转换 - 归一化
为防有些特征值权重太大，进行归一比如通过
$\small newValue = (oldValue - min)/(max - min)$
可以转化为 0 到 1 的值 - 标准化
$\small newValue = (oldValue - mean)/std$ ## 减去平均值，再除以方差 - 正则化
作用是降维？减少特征？ - 降维
用于减少特征数量或是样本数量，只保留重要的数据，比如算法 PCA 和 SVD
PCA（主成分分析）
取 N 个方差最大且相互正交的方向，进行矩阵转换，步骤如下
1. 先计算数据集的协方差矩阵 covMat
2. 再通过下面的代码求 covMat 的特征值向量和特征向量矩阵
$\small np.linalg.eig(np.mat(covMat))$
3. 取最大的 N 个特征值
4. 使用新的特征向量矩阵将原始数据集矩阵转换到只有 N 个特征值的新的数据集
SVD （奇异值分解）
取 N 个最大的奇异值，进行矩阵转换，步骤如下
1. 分解原数据矩阵 $\small Data(m,n) = U(m,m) * Σ(m,n) * VT(n,n) $，代码如下
$\small U,Sigma,VT = np.linalg.svd(data) $
2. 其中 $\small Σ(m,n) $ 只有对角线有值，取最大的 r 个值为新矩阵 SigmaR，则
$\small Data(m,n) ≈ U(m,r) * Σ(r,r) * V.T(r,n) $
3. 然后通过下面代码对原数据进行压缩
$\small dataNew = U[:,:r]SigmaRVT[:r,:] $ - 存储空间
可否使用稀疏矩阵减少空间 - 非均衡分类
主要以下两种
1. 正反例数目相差大，可以用过抽样和欠抽样方法来调节正反例数目
2. 算法要考虑分类错的代价，如垃圾邮件分到收件箱和正常邮件分到垃圾箱后果不同
混淆矩阵
$\small a[i][j] $： 预测 i 类型结果出现的是 j 类型的次数，完美的分类器非对角元素均为 0
$\small TP $： 预测 +1 结果是 +1
$\small TN $： 预测 -1 结果是 -1
$\small FP $： 预测 +1 结果是 -1
$\small FN $： 预测 -1 结果是 +1
正确率：
$\small TP/(TP+FP) $ ## FN 代价比较小则更关注正确率
召回率
$\small TP/(TP+FN) $ ## FN 代价比较大则更关注召回率
ROC 曲线
横轴是 $\small FP/(FP+TN) $、纵轴是 $\small TP/(TP+FN) $
曲线下的面积给出的是分类器的平均性能值 - 数据可视化
选择哪些特征，用什么图形显示，当特征太多时很难在一个图中显示出来
2. 算法选择
- 想要预测目标变量的值，可以选择监督学习算法，进一步确定目标变量类型，如果目标变量是离散型可以选择分类器算法，如果目标变量是连续型的数值则需要选择回归算法
- 不用预测目标变量的值，可以选择无监督学习算法，进一步分析是否需要将数据划分为离散的组，如果这是唯一需求，则使用聚类算法，如果还要估计数据与每个分组的相似程度，则需要使用密度估计算法
- 多数情况下，上面的方法都能帮助选择恰当的机器学习算法，但这也并非一成不变
- 我们只能在一定程度上缩小算法的选择范围，一般并不存在最好的算法或者可以给出最好结果的算法，一般说来发现最好算法的关键环节是反复试错的迭代过程
3. 算法验证
- 划分数据集
训练集和测试集：一个用于训练，一个用于测试，训练集要更大，两个数据集要有随机性
做交叉验证，比如：
1. 数据分为 K 个子集，一个作测试集，其余作训练集，重复 K 次做交叉验证
2. 数据分为 K 个子集，每个又分 S0，S1 子集，用 S0 训练，用 S1 测试，再反过来用
3. 每个样本单独做测试集，其余 n-1 个样本作训练集，重复 n 次 - SRM 和 ERM
泛化能力用于衡量算法在样本空间上的表现
如果过于专注于样本，会出现过拟合的现象
如果过于罔顾样本，又会出现欠拟合的现象
所以需要张弛有度，SRM 和 ERM 就是研究这个的
损失函数
记为 $\small L(Y, F(X)) $ 针对单个具体的样本，表示预测值与真实值之间的差距
0-1 损失函数
$\small L(Y, F(X)) = 1 \quad if \quad Y != F(X) \quad else \quad 0 $
平方损失函数
$\small L(Y, F(X)) = (Y - F(X))^{2} $
绝对损失函数
$\small L(Y, F(X)) = |Y - F(X)| $
逻辑损失函数
$\small L(Y, F(X)) = Ylog(1+e^{-F(X)}) + (1-Y)log(1+e^{F(X)}) $
对数损失函数
$\small L(Y, P(Y|X)) = - logP(Y|X) = - \frac{1}{N}\sum_{i=1}^{M}\sum_{j=1}^{N}y_{ij}log(p_{ij}) $
$\small N $ 为样本数，$\small M $ 为类别数
$\small y_{ij} $ 表示类别 j 是否是输入实例 $\small x_{i} $ 的真实类别
$\small p_{ij} $ 为预测输入实例 $\small x_{i} $ 属于类别 j 的概率
ERM
Empirical Risk Minmization，经验风险最小化
$\small R = \frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))) $
ERM 就是最小化 R，但 R 太小容易出现过拟合的情况
SRM
Structural Risk Minmization，结构风险最小化
$\small R = \frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))) + \lambda J(f) $
$\small \lambda $ 是一个系数，$\small J(f) $ 表示模型 $\small f $ 的复杂度
相当于
$\small SRM = ERM + λJ(f) $
如果 ERM 越小就意味着函数复杂度也就是 $\small λJ(f) $ 越大
这样求出来的使得 R 最小的模型就是一个比较平衡的模型 最小化目标函数
ERM 公式和 SRM 公式也可以被称为目标函数，可改写为
$\small Obj = L + O $
其中
L 代表损失函数用于衡量模型对数据的拟合程度
O 可称为正则化项，用于惩罚复杂的模型，防止过拟合，常用 L2 正则和 L1 正则L1-Norm 和 L2-Norm，中文称 L1 正则化和 L2 正则化，或 L1 范数和 L2 范数
L1 正则化是指向量中各个元素的绝对值之和，通常表示为
$\small \left | W \right |{1}=\sum{i=1}^{N}|w_{i}| $
L2 正则化是指向量中各个元素的平方和然后再求平方根，通常表示为
$\small \left | W \right |{2}=\sqrt{\sum{i=1}^{N}w_{i}^{2}} $L1 正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2 正则化可以防止模型过拟合 (一定程度上，L1 也可以防止过拟合)比如 Lasso 回归就使用的 L1，而 Ridge 回归(岭回归)就使用的 L2
训练数据就是最小化目标函数 Obj
多数时候是求梯度，通过一定步长沿着梯度前进，最终实现最小化 Obj- 偏差
预测值和实际值的差距 - 方差
预测值的变化范围 皮尔逊相关系数
可用于计算预测结果和真实结果之间的相关性