参考链接https://www.cnblogs.com/maybe2030/p/5597716.html
梯度检测
确认没有错误之后就关掉这个梯度检测，否则会变得很慢，因为他比反向传播慢的很
选择神经网络的架构 输入层与输出层是与特征的维度与类别的数目相关的。 对于隐藏层，如果大于1隐藏单元的数目应该是相等。
欠拟合：高偏差
过拟合： 高方差
交叉验证： 分为训练集 测试集以及交叉验证集
判别办法 横坐标d是维度 d为1的时候 训练误差和交叉误差都很大。当d很大的时候训练误差是小的
但是交叉误差是大的
线性回归正则化 对λ的选择
太大了 θ都是0，一条直线 欠拟合
如果λ太大了的话，就会有比如0，就会造成过拟合
对于正则化λ的选择，尝试不同的λ的值，求出最小代价函数对应的θ，用这个theta带入交叉验证中进行验正。然后再交叉呀郑重选择了θ5 然后带入到测试集中进行测试
正则化
对于这个图形，对于训练集来说，λ从小到大，小的时候对应的θ是高阶的因此训练集拟合的好，可能存在过拟合对于那个交叉验证集所以误差大。 随着λ增大，θ变小了，因此相当于一次项了，然后欠拟合，这时候误差也是大的，只有选择一个合适的λ，才能降低新的数据的误差。改变lamda-交叉误差和训练误差的变化。
学习曲线
训练集对训练集上学习代价的曲线变化以及交叉测试集上的曲线变化，对于训练集 ，数目越少拟合越好，数目多了误差增加。对于交叉训练集，原来的训练集的数目越多他的性能越好
增大训练效果没有用的粒子
高偏差（欠拟合）
当交叉训练集随着训练的数目增大的时候，误差不会下降，保持一个较高的稳定的值，这个时候有再多的数据也是没有什么效果的。右图显示的是，如果只有两个参数，那么数据集数据再多，这个直线也是无法拟合的（训练集和交叉验证集随着样本越来越大误差都很大的时候）
这哥时候收集再多数据没有用
高方差（过拟合）
如果λ十分的小，而且θ十分的大，那么就会过拟合。训练集随着数目的增多，还是会稍微有点误差但是始终很小。但是对于交叉训练集，就是有很大的误差，随着样本数目的下降，稍微有点降低，但是和训练集之间的误差是很大的，随着样本数目的增加，测试集的误差是下降的因此在高方差中，增加样本数量是可行的
对于不同的错误的修复
特征向量：对于一个文本，存在的单词特征向量中为1，不存在的为0
对于一个垃圾分类器
有这些方法进行改进
先简单暴力的实现一个最快的算法 然后检测 对不正确的进行分类看 那种问题最多 然后修改原则。
对于一个分类模型：精度和recall 都是重要的检测
精度：预测患了癌症且真的有癌症的人/ 预测的所有患癌症的
recall： 预测且真的患有癌症的人/ 真实中所有得癌症的人
这种定义是因为我们希望的真正的患有癌症的人很少的时候。如果y=0 预测一直为0，那么那么recall 是0 是不正确的。 skewed class . 偏斜类。有好的精确度和召回率的算法是好的算法
精度和召回率的一个比例。
如果阈值 0.99 那么精度高，但是会漏下许多，因此召回率不高。如果阈值时0.3 ，那么精度较低，因为把很多都判断为患有癌症。 但是召回率高
选择一个好的模型，有好的召回率和好的精度。
svm
通过c的选择可以有更大的间距。 large margin classification
θ0=0 绿线是分类线，蓝线是θ，红叉点向上面投影，得到p的长度，如果大于1，那么θ数值要大。
SVM 核函数
选择标记点
svm与核函数
高斯核函数 线性核函数 莫塞尔定理
KNN
降维
pca：找低维平面。找一条直线进行投影，使得投影误差最小。如果是n维到k维，那么就是找k个向量。最小化平方投影
数据处理
特征-平均值
如果特征有不同的尺度：特征收缩：特征-平均值/max-min or 特征-平均值/标准差
使用PCA 进降维，用最少的k 使得与原来的方差比还是99%
压缩重现：
仅仅在测试集上面运用PCA
pca 不是一个好的防止过拟合的做法。即使你的方差保留到99%，但是仍然存在一些有价值的信息被抛弃的行为。
因此一个好的做法还是进行正则化。pca 提高算法速度比较好
只有需要压缩数据的时候使用pca, 不要盲目的使用pca，除非你硬盘 内存不够了才需要压缩数据的时候。
异常检测
评估算法
异常检测算法
异常检测算法和监督学习算法
通过对数据的变化，使其分布，数据的特征分布更加类似于高斯。可以通过开根，log 等等进行
推荐系统，协同过滤
协同过滤算法
低秩矩阵分解
找到最近的电影
均值规范化
归一化算法：使用其对未进行任何评分的电影进行评分
批量梯度下降，解决梯度下降中数量太多的问题
如果有3亿人，
