张小贤的平凡之路---机器学习之神经网络---周志华《机器学习》

神经网络

1. 试述常见的激活函数，试述将线性函数用作神经元激活函数的缺陷

2. 试述使用sigmoid激活函数的神经元与对数几率回归的联系

3. 对于图5.7（102页）中的，试推导出BP算法中的更新公式5.13（103页）

4. 试述标准BP算法和累计BP算法，试编程实现标准BP算法和累计BP算法,在西瓜数据集3.0（84页）上分别用这两个算法训练一个单隐层神经网络，并进行比较。

5. 试述如何缓解BP神经网络的过拟合现象

6. 试述RBF网络，RNN循环神经网络的概念和特点

7. 试述卷积神经网络的卷积、下采样（池化）过程，试述卷积神经网络的架构，如图5.15（114页）

8. kaggle比赛入门-手写数字识别，下载参考数据和参考代码，仔细阅读代码并详细标注代码注释。