目录
01 多层感知机与布尔函数
02 深度神经网络中的激活函数
（1）常用激活函数及其导数：
（2）为什么sigmoid和tanh激活函数会导致梯度消失？
（3）Relu相对于sigmoid和tanh优点是什么？有什么局限性和改进方法？
03 多层感知机的反向传播算法
（1）多层感知机的平方误差和交叉熵损失函数
（2）推导各层参数更新的梯度计算公式
（3）平方误差损失函数和交叉熵损失函数分别适用什么场景？
04 神经网络训练技巧
过拟合：参数庞大，但是数据太少
解决方法：数据集增强，参数惩罚，模型集成（最高效：dropout）
手调参数：学习率，权重衰减系数，dropout比例
BN：加速收敛，提升泛化
（1）神经网络训练时，是否可以把所有参数初始化为0
不可以，随机性。不然无法传播。
（2）dropout可以抑制过拟合的原因？
每次随意丢弃神经元，相当于每次训练的都是不一样的网络。
轻量级的集成
（3）BN动机和原理？批量归一化
05 深度卷积神经网络
图像处理，深度学习，NLP
（1）卷积操作的本质特性包括稀疏交互和参数共享，解释
稀疏交互：
（2）常用的池化操作？池化的作用？
均值池化、最大池化
作用：减少参数，平移/旋转/伸缩不变性
06 深度残差网络
（1）ResNet的提出背景和核心理论？
解决或环节深层神经网络中的梯度消失问题。