信息基础2 - homework3

周斌老师分享:LeNet-5 手写数字识别-网络展示

怎样提升深度学习的性能?

1.LeNet-5中卷积核3×3和5×5的对比

LeNet-5 Keras 实现

实验要求不能调用现成的库函数,要从用for循环加乘实现卷积开始。

相当于自己写库函数,以后可以调用自己的库。


2.初始化参数能否都为0?

知乎:为什么神经网络参数不能全部初始化为全0

通过反向传播后,输入层与隐藏层之间的参数更新一样。隐藏层与其它层多个结点,相当于一个结点

w初始化全为0,很可能直接导致模型失效,无法收敛。


3.max函数的导数?

维基百科:导数

一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数f的自变量在一点x_{0}上产生一个增量h时,函数输出值的增量与自变量增量h的比值在h趋于0时的极限如果存在,即为fx_{0}处的导数。

CNN中一些特殊环节的反向传播

mean pooling:

max pooling:


4.求解深度网络,除了反向传播外的其他方法?

浅谈神经网络训练方法

正向传播、反向传播、双向传播


5.下个LeNet的预训练模型,跑跑看

实验



1*.看《out of control》


2.VGGNet 3×3×3怎么排

堆叠覆盖


3.VGG16和VGG19的图

PPT上的图:应把22233和22244 改成22333和22444

猜你喜欢

转载自blog.csdn.net/weixin_41703033/article/details/84109979