- 在下图中，我们可以观察到误差出现了许多小的"涨落"。 这种情况我们应该担心吗？
A 需要，这也许意味着神经网络的学习速率存在问题
B 不需要，只要在训练集和交叉验证集上有累积的下降就可以了
C 不知道
答:
1. 为了减少这些’涨落’, 可以尝试增加batch_size, 从而缩小batch综合梯度方向的摆动范围.
2. 如果整体曲线趋势为平缓时出现可观的"涨落/起伏", 可以尝试降低学习率以进一步收敛.
3. 趋势平缓且"起伏"不可观时应该提前终止以免过拟合.
- 假设在训练中我们突然遇到了一个问题，在几次循环之后，误差瞬间降低, 你认为数据有问题，于是你画出了数据并且发现也许是数据的偏度过大造成了这个问题。
你打算怎么做来处理这个问题？
A 对数据作归一化
B 对数据取对数变化
C 都不对
D 对数据作主成分分析(PCA)和归一化
答: 误差瞬间降低, 一般原因是多个数据样本有强相关性且突然被拟合命中, 对数据做PCA和归一化能够改善这个问题.
- 对于一个分类任务，如果开始时神经网络的权重不是随机赋值的，二是都设成0，下面哪个叙述是正确的？
A 其他选项都不对
B 没啥问题，神经网络会正常开始训练
C 神经网络可以训练，但是所有的神经元最后都会变成识别同样的东西
D 神经网络不会开始训练，因为没有梯度改变
答: 如果神经网络计算出来的输出值都一个样，那么反向传播算法计算出来的梯度值一样，并且参数更新值也一样 。更一般地说，如果权重初始化为同一个值，网络即是对称的。最后所有的神经元都会变成识别同样的东西.