一、Feature Selection
1.过滤掉方差太小的变量
sklearn.feature_selection.VarianceThreshold
2. 用单因素统计检验
sklearn.feature_selection.f_classif 方差分析
sklearn.feature_selection.chi2 卡方检验
3. Select Fpr、Fdr、Fwe
4. 递归特征淘汰
先用所有feature建模，模型给出每个feature的权重，剔除最差的feature，重新建模，看效果，如此循环。
sklearn.feature_selection.RFECV
二、sklearn.preprocessing
归一化数据、拆分训练集合测试集等
三、SGD随机梯度下降
SGDClassifier、SGDRegression适用于大数据量
随机梯度下降：每次迭代是纳入一个新的样本点，更新参数使这个样本的残差最小即可，只需迭代n-sample次，但会走弯路，结果也只是逼近极小值。
批梯度下降：按学习速率确定的步伐大小每次更新参数，解损失函数的极小值时，每次迭代要把所有数据都参与计算，不适用于大数据量。
四、LDA线性判别分析
有监督的分类、降维
原理：向低维度投影后，类内方差最小，类间方差最大