四

隐藏单元：

1、整流线性单元是隐藏单元极好的默认选择；

2、在实践中，可以放心地忽略掉隐藏层激活函数的不可微性；

3、sigmoid饱和区域过大使得基于梯度的学习变得非常困难，所以现在隐藏单元的激活函数不推荐使用sigmoid；

4、在很多情况下，更深的模型能够减少表示期望函数所需要的单元的数量。

疑问：

1、PReLU是什么？

2、maxout单元是怎么回事？

3、LSTM是什么？

4、softmax 到底长什么样子？