1. 超参数和参数
参考这篇博客
参数是模型自己学习的部分，比如卷积核的weight以及bias
超参数是根据经验设定使得模型具有好的效果的参数，CNN中常见的超参数有：
1卷积层层数
2全连接层层数
3 卷积核size
4卷积核数目
5 learning rate
6正则化参数
7minibatch size
8loss function
9weight initialization
10activation function
11 epochs
怎么样确定超参数呢？
我们将数据集分成训练集training set 验证集validation set和测试集 test set。在训练集上训练，用验证集来确定最好的超参数，然后用测试集来确定模型最终性能。
2.判别模型和生成模型
参考这篇博客
判别方法：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。基本思想是有限样本条件下建立判别函数，不考虑样本的分布2模型，直接研究预测模型。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。
特点：
不能反映训练数据本身的特性。但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。直接面对预测，往往学习的准确率更高。由于直接学习P(Y|X)或P(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
生成方法：由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)。
特点：生成方法学习联合概率密度分布P(X,Y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。
3. 分类问题的Evaluation Metrics
参考这篇博客
对于一个分类器的好坏，主要是在测试集test set上表现出来的，衡量好坏的指标却不仅仅是accuracy。
accuracy的定义是
我们先将我们关注的类定义为正类positive，不关注的定义为负类negative(是人或者不是）。
True Positive(TP):将正类判断为正类的样本个数
False Positive(FP):将负类判断为正类的样本个数
True Negative(TN):将负类判断为负类的样本个数
False Negative(FN):将正类判断为负类的样本个数
注意上述名字只需要记住第一个TP就能推断出后续名字含义了
精度Accuracy：
精确度Precision：
召回率Recall：
关于什么时候使用Precision和Recall，wiki上的解释是：
Precision: how many selected items are positive
Recall: how many positive items are selected
4. 梯度消失与梯度爆炸
参考这篇博客
神经网络一般采取back propagation算法进行权值更新，假设网络中采取的激活函数是g(x)，用
表示第i层的输入，也就是i-1层的输出，那么
，那么
5. L1 L2 Regularization
参考这篇博客1
参考这篇博客2
L1和L2正则化是添加在loss function中避免overfitting的手段。
L1范数是指向量中各个元素绝对值之和，也叫“稀疏规则算子”（Lasso regularization，least absolute shrinkage and selection operator）。为什么L1范数会使权值稀疏？有人可能会这样给你回答“它是L0范数的最优凸近似”。实际上，还存在一个更美的回答：任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。
一句话总结：L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用，L2范数不具有实现稀疏的特性。
稀疏的优点：
1计算量上的优点
2可解释性，非零的特征提供了巨大的信息，使得我们不必要关心所以特征维度。
关于L1和L2在稀疏性上的区别可以参考下图，这里显示的是二维的情况，可以发现L1有大概率落在坐标轴上(为0），而L2不是。
当然数学上的解释可以参考博客1和2.
