信息基础II | Homework3

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/www110120119/article/details/84206549

目录

一、LeNet-5中卷积核3×3和5×5的对比

二、初始化参数是否能都为0?

三、max函数的导数是什么

四、求解深度网络,除了反向传播外的其他方法?


一、LeNet-5中卷积核3×3和5×5的对比

二、初始化参数是否能都为0?

知乎文章:为什么神经网络参数不能全部初始化为全0?

w初始化全为0,很可能直接导致模型失效,无法收敛。

因此可以对w初始化为随机值解决(在cnn中,w的随机化,也是为了使得同一层的多个filter,初始w不同,可以学到不同的特征,如果都是0或某个值,由于计算方式相同,可能达不到学习不同特征的目的)

三、max函数的导数是什么

导数的定义-维基百科

CNN中一些特殊环节的反向传播

f'(x_0)=\lim_{\Delta x \to 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}

四、求解深度网络,除了反向传播外的其他方法?

浅谈神经网络训练方法

双向传播

正向传播

猜你喜欢

转载自blog.csdn.net/www110120119/article/details/84206549
今日推荐