全连接网络的局限性

大图片输入到全连接网络中后会有什么效果,我们分析一下。
如果只有两个隐藏层,每层256个节点,则MNIST数据集所需要的参数是(28*28*256+256*256+256*10)个w,再加上(256+256+10)个b。
一 图像变大导致色彩数变多,不好解决
如果换为1000像素?仅一层就需要1000*1000*256,约等于2亿个w(可以把b都忽略)。
这只是灰度图,如果是RGB的真彩色呢?再乘以3后,则约等于6亿。如果想要得到更好的效果,再加上一个隐藏层,可以想象,需要学习参数量将非常多的,不仅消耗大量的内存,同时也需要大量的运算,这显然不是我们想要的结果。
二 不便处理高维度数据
对于比较复杂的高维度数据,如按照全连接的方法,则只能通过增加节点、增加层数的方式来解决。而增加节点会引起参数过多的问题。因为由于隐藏层神经网络使用的是Sigmoid或Tanh激活函数,其反向传播有效层数也只能在4到6层左右。所以,层数再多只会使反向传播的修正值越来越小,网络无法训练。
而卷积神经网络使用了参数共享的方式,换一个角度来解决问题,不仅在准确率上大大提升,也把参数降下来。

猜你喜欢

转载自blog.csdn.net/chengqiuming/article/details/80259695