一、1d/2d/3d卷积

卷积运算: 卷积核在输入信号(图像)上滑动,相应位置上进行乘加

卷积核: 又称为滤波器，过滤器，可认为是某种模式，某种特征

在这里插入图片描述
卷积过程类似于用一个模版去图像上寻找与它相似的区域,与卷积核模式越相似，激活值越高，从而实现特征提取

在这里插入图片描述
AlexNet卷积核可视化,发现卷积核学习到的是边缘,条纹,色彩这一些细节模式

卷积维度: 一般情况下,卷积核在几个维度上滑动,就是几维卷积
在这里插入图片描述

二、卷积-nn.Conv2d

2.1 nn.Conv2d

nn.Conv2d(in_channels,
		  out_channels,
		  kernel_size,
		  stride=1,
		  padding=0,
		  dilation=1,
		  groups=1,
		  bias=True,
		  padding_mode=' zeros')

功能: 对多个二维信号进行二维卷积

in_channels: 输入通道数
out_channels: 输出通道数,等价于卷积核个数
kernel size: 卷积核尺寸
stride: 步长
padding : 填充个数
dilation: 空洞卷积大小
groups: 分组卷积设置
bias: 偏置

尺寸计算：

简化版： $out_{size}=\frac{In_{size}-kernel_{size}}{stride}+1$
完整版： $H_{out}= \lfloor \frac{H_{in}+2 \times padding[0]-dilation[0]\times (kernel\_size[0]-1)-1}{stride[0]}+1 \rfloor$

2.2 nn.Conv2d示例

# -*- coding:utf-8 -*-

import os
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from tools.common_tools import transform_invert
from tools.common_tools import set_seed

set_seed(2)  # 设置随机种子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ 2d
flag = 1
# flag = 0
if flag:
    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================================= visualization ==================================
print("卷积前尺寸:{}\n卷积后尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

运行结果：
在这里插入图片描述

三、转置卷积-nn.ConvTranspose

转置卷积又称为反卷积(Deconvolution)和部分跨越卷积(Fractionally strided Convolution) , 用于对图像进行上采样(UpSample)

3.1 为什么称为转置卷积？

在这里插入图片描述
转置卷积（transposed Convolutions）又名反卷积（deconvolution）

反卷积（deconvolutions）这种叫法是不合适的，因为它不符合反卷积的概念。在深度学习中，反卷积确实存在，但是并不常用。实际上，反卷积是卷积操作的逆过程。你可以这么理解这个过程，将某个图像输入到单个卷积层，取卷积层的输出传递到一个黑盒子中，这个黑盒子输出了原始图像。那么可以说，这个黑盒子完成了一个反卷积操作，也就是卷积操作的数学逆过程。

转置卷积与真正的反卷积有点相似，因为两者产生了相同的空间分辨率。然而，这两种卷积对输入数据执行的实际数学运算是不同的。转置卷积层只执行了常规的卷积操作，但是恢复了其空间分辨率。

例子：

在这里插入图片描述
假如将一张5×5大小的图像输入到卷积层，其中步幅为2，卷积核为3×3，无边界扩充。则卷积层会输出2×2的图像。

若要实现其逆过程，需要相应的数学逆运算，能根据每个输入像素来生成对应的9个值。然后，将步幅设为2，遍历输出图像，这就是反卷积操作。

转置卷积和反卷积的唯一共同点在于两者输出都为5×5大小的图像，不过转置卷积执行的仍是常规的卷积操作。为了实现扩充目的，需要对输入以某种方式进行填充。

可以理解成，至少在数值方面上，转置卷积不能实现卷积操作的逆过程。转置卷积只是为了重建先前的空间分辨率，执行了卷积操作。

3.2 nn.ConvTranspose2d

nn.ConvTranspose2d(in_channels,
				   out_channels,
				   kernel_size,
				   stride=1,
				   padding=0,
				   output_padding=0, 
				   groups=1,
				   bias=True,
				   dilation=1, 
				   padding_mode='zeros')

功能：转置卷积实现上采样
主要参数:

in_channels: 输入通道数
out_channels: 输出通道数
kernel size: 卷积核尺寸
stride: 步长
padding: 填充个数
dilation: 空洞卷积大小
groups: 分组卷积设置
bias: 偏置

尺寸计算：

简化版： $out_{size}=(in_{size}-1)*stride+kernel_{size}$
完整版： $H_{out}=(H_{in}-1)\times stride[0] - 2\times padding[0]+dilation[0]\times(kernel_{size}[0]-1)+output_{padding}[0]+1$

3.3 nn.ConvTranspose2d示例

# -*- coding:utf-8 -*-

import os
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from tools.common_tools import transform_invert
from tools.common_tools import set_seed

set_seed(1)  # 设置随机种子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================
# ================ transposed
flag = 1
# flag = 0
if flag:
    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)   # input:(i, o, size)
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)


# ================================= visualization ==================================
print("卷积前尺寸:{}\n卷积后尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

运行结果：
在这里插入图片描述
注意：转置卷积会产生棋盘效应，具体情况见论文《Deconvolution and Checkerboard Artifacts》

G5Lorenzo

发布了105 篇原创文章 · 获赞 9 · 访问量 7813

私信关注

11nn网络层-卷积层