全连接、局部连接、全卷积与局部卷积学习笔记

局部卷积图像修复实例:

图像修复 学习笔记_AI视觉网奇的博客-CSDN博客

大多数神经网络中高层网络通常会采用全连接层(Global Connected Layer),通过多对多的连接方式对特征进行全局汇总,可以有效地提取全局信息。但是全连接的方式需要大量的参数,是神经网络中最占资源的部分之一,因此就需要由局部连接(Local Connected Layer),仅在局部区域范围内产生神经元连接,能够有效地减少参数量。
根据卷积操作的作用范围可以分为全卷积(Global Convolution)和局部卷积(Local Convolution)。实际上这里所说的全卷积就是标准卷积,即在整个输入特征维度范围内采用相同的卷积核参数进行运算,全局共享参数的连接方式可以使神经元之间的连接参数大大减少;
局部卷积又叫平铺卷积(Tiled Convolution)或非共享卷积(Unshared Convolution),是局部连接与全卷积的折衷。


原文链接:https://blog.csdn.net/ys1305/article/details/99302943

连接方式 说明
全连接 层间神经元完全连接,每个输出神经元可以获取到所有输入神经元的信息,有利于信息汇总,常置于网络末层;连接与连接之间独立参数,大量的连接大大增加模型的参数规模。
局部连接 层间神经元只有局部范围内的连接,在这个范围内采用全连接的方式,超过这个范围的神经元则没有连接;连接与连接之间独立参数,相比于全连接减少了感受域外的连接,有效减少参数规模
全卷积 层间神经元只有局部范围内的连接,在这个范围内采用全连接的方式,连接所采用的参数在不同感受域之间共享,有利于提取特定模式的特征;相比于局部连接,共用感受域之间的参数可以进一步减少参数量。
局部卷积 层间神经元只有局部范围内的连接,感受域内采用全连接的方式,而感受域之间间隔采用局部连接与全卷积的连接方式;相比与全卷积会成倍引入额外参数,但有更强的灵活性和表达能力;相比于局部连接,可以有效控制参数量

以下内容转自:

深度学习——全连接,局部感知,权值共享,卷积输入输出的个人理解_simple丨li的博客-CSDN博客_局部感知

首先理解:
1、全连接层1:(输入为卷积)
        全连接和普通神经元类似,输出的每一个神经元都与输入的每一个像素点相连, 把多维向量转化为1维向量 。
           例如前一层的卷积输出50个feature map(图片大小为4X4),全连接层输出的是500个神经元(输出500个数字),则每一个神经元对应4X4X50=800个参数(卷积操作输出一个数字),这一层全连接层和总共有800X500=400000个参数。
        理解:如下图所示,X1,X2就是前面的输入的50X4X4个像素值,Y1,Y2就是输出的500个一维值,其中的参数个数就是V11,V21,V12,V22所有的参数个数总和。


2、全连接层2:(输入为全连接层)
        如上所示,上述全连接层输入为500个数字,若本层输出为10个神经元(10个数字),每个神经元都对应500个参数,则总共500X10=5000个参数

3、局部感知:
        重要性:若每一个神经元都像全连接一样,则需要的参数太多了,因此采用局部感知的方法。
        每一个神经元只需要感知图像中的局部信息,然后在更高层次进行信息组合就可以得到全局信息。
        例如有10个10X10的卷积核,每一个卷积核对图像进行局部感知可以理解为提取图像的轮廓,光暗等信息。有10个卷积核代表了10种特征。
        其中有多少个参数呢?参数只和输出神经元个数和卷积核大小有关,例如上述的参数有:10(featrue map)X10X10(卷积核大小)=1000个参数,这一层卷积层就只有1000个参数。

4、权值共享:
        权值共享实际上就是局部感知的部分,当用10X10的卷积核(共包含100个参数)去卷积整张图的时候,生成的feature map的每一个像素值都是由这个卷积核产生的,这就是权值共享。

5、卷积的输入输出理解:
        输入单通道图片层时的理解:对于输入图片为32X32的图片,卷积核大小为5X5,卷积核个数为6,步幅( Stride)为1,边界扩充( Padding)为0,公式为: (Input_H + 2*Padding - 卷积核H)/ Stride +1 ,(宽度公式同理) 这里(32+2*0-5)/1 + 1 = 28 ,所以输出的featrue map 大小为28X28 , 总共6个feature map,代表6种特征。

        输入是多通道图片时(多feature map)的理解:下图展示了在四个通道上的卷积操作,有两个卷积核,生成两个通道。其中需要注意的是,四个通道上每个通道对应一个卷积核,先将w2忽略,只看w1,那么在w1的某位置(i,j)处的值,是由四个通道上(i,j)处的卷积结果相加,最后得到两个feature map, 即输出层的卷积核核个数为 feature map 的个数。
        下图参数个数:4×2×2×2 = 32个参数,其中4表示4个通道,第一个2表示生成2个通道,最后的2×2表示卷积核大小。
        

 

再形象理解多通道卷积:

上图是一个输入是W*H*6(6为通道数理解为厚度,W*H为侧边多边形),经过一个1*1*6的卷积,将会得到W*H的一个feature map(可以理解为红色的矩形所经过的所有参数进行叠加,得到一个数字),利用5个这样1*1*6的卷积核进行卷积,将得到5个feature map,其参数个数为5*1*1*6 = 30个。
————————————————
版权声明:本文为CSDN博主「simple丨li」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u010799383/article/details/79235456

猜你喜欢

转载自blog.csdn.net/jacke121/article/details/124086623