深度学习论文: PE-YOLO: Pyramid Enhancement Network for Dark Object Detection及其PyTorch实现
PE-YOLO: Pyramid Enhancement Network for Dark Object Detection
PDF: https://arxiv.org/pdf/2307.10953v1.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks
1 概述
当前的目标检测模型在许多基准数据集上取得了良好的结果，但在暗条件下检测物体仍然是一个巨大的挑战。为了解决这个问题，我们提出了一个金字塔增强网络（PENet），并将其与YOLOv3结合起来构建一个名为PE-YOLO的暗物体检测框架。首先，PENet使用拉普拉斯金字塔将图像分解为四个不同分辨率的组件。具体来说，我们提出了一个细节处理模块（DPM）来增强图像的细节，它由上下文分支和边缘分支组成。此外，我们提出了一个低频增强滤波器（LEF）来捕捉低频语义并防止高频噪声。PE-YOLO采用端到端的联合训练方法，只使用正常的检测损失来简化训练过程。我们在低光物体检测数据集ExDark上进行实验，以证明我们方法的有效性。
2 PE-YOLO
2-1 PENet
图像的Laplacian pyramid定义为
其中 G ( x ) G(x) G(x)定义为：
PENet通过拉普拉斯金字塔将图像分解为不同分辨率的组件。
从图像可以看出，Laplacian金字塔从底部到顶部更加关注全局信息，而相反地，它更加关注局部细节。这些信息都是在图像降采样过程中丢失的，也是PENet需要增强的对象。
2-2 Detail Enhancement
细节处理模块（DPM）用于增强拉普拉斯金字塔中的组件，DPM分为上下文分支（Context branch）和边缘分支（Edge branch）。上下文分支（Context branch） 通过捕捉远程依赖关系来获取上下文信息，并对组件进行全局增强。边缘分支（Edge branch） 使用两个不同方向的Sobel算子计算图像梯度，以获取边缘并增强组件的纹理。
上下文分支（Context branch）：使用残差块在获取远程依赖之前和之后处理特征，并且通过残差学习跳跃连接传递丰富的低频信息。第一个残差块将特征的通道从3变为32，第二个残差块将特征的通道从32变为3。捕捉场景中的全局信息对低级视觉任务（如低光增强）有益。
边缘分支（Edge branch）：Sobel算子是一种结合了高斯滤波器和差分求导的离散算子。它通过计算梯度近似来寻找图像的边缘。在水平和垂直方向上使用Sobel算子，通过卷积滤波器重新提取边缘信息，并利用残差来增强信息的传递。这样可以进一步提升图像的纹理特征。
DPM的详细信息如下图：
2-3 Low-Frequency Enhancement Filter
在每个尺度的component中，低频分量包含图像中大部分的语义信息，它们是检测器预测的关键信息。为了丰富重建图像的语义，本文提出了低频增强滤波器（LEF）来捕捉component中的低频信息。假设component f ∈ Rh×w×3，首先通过一个卷积层将其转化为f ∈ Rh×w×32。接着使用动态低通滤波器来捕捉低频信息，并使用平均池化进行特征过滤，只允许低于截止频率的信息通过。不同语义的低频阈值是不同的。借鉴Inception的多尺度结构，采用了自适应平均池化，尺寸分别为1×1、2×2、3×3、6×6，并在每个尺度的末尾使用上采样来恢复特征的原始大小。不同核大小的平均池化形成了一个低通滤波器。
LEF的详细信息如下图：
3 Experiments
