guía
论文：《PE-YOLO: Red de mejora de la pirámide para la detección de objetos oscuros》
TL; DR : El contenido central de este documento es resolver el problema de la detección de objetos en condiciones de poca luz. Los autores crearon un PE-YOLOmarco de detección de objetos con poca luz llamado , que combina una red de aumento piramidal ( PENet) con YOLOv3, para mejorar la detección de objetos en entornos con poca luz.
PENetLa idea principal es utilizar la pirámide laplaciana para descomponer la imagen en cuatro componentes de diferentes resoluciones. Por ejemplo, lo que atrajo la atención del autor fue la capacidad de mejorar el rendimiento de detección en condiciones de poca luz. Específicamente, en el documento se propone un módulo de procesamiento detallado ( DPM), que se utiliza para mejorar los detalles de la imagen , que incluye dos ramas, a saber, la rama de contexto y la rama de borde . Al mismo tiempo, también hay un filtro de mejora de baja frecuencia ( LEF), que se utiliza para capturar información semántica de baja frecuencia y evitar la interferencia del ruido de alta frecuencia .
Durante el entrenamiento, PE-YOLOse adopta un método de entrenamiento conjunto de extremo a extremo y solo se utiliza la pérdida de detección común para simplificar el proceso de entrenamiento. A través de ExDarkexperimentos en conjuntos de datos de detección de objetos con poca luz, los resultados demuestran que, en comparación con otros detectores de poca luz y modelos de mejora de poca luz, el mAP ( PE-YOLOprecisión promedio) puede alcanzar el 78,0% y el FPS (fotogramas por segundo) puede alcanzar 53.6 En estas condiciones, muestra un mayor rendimiento y puede adaptarse a la detección de objetos en diferentes entornos con poca luz.
motivación
Esta parte presenta principalmente la investigación anterior relacionada con la mejora de la luz oscura y la detección de objetivos en condiciones adversas. Estos estudios se centran principalmente en mejorar la percepción visual humana , restaurar los detalles de la imagen , corregir la distorsión del color y proporcionar imágenes de alta calidad para tareas de visión avanzadas, como la detección de objetos.
mejora con poca luz
El objetivo principal de la mejora con poca luz es mejorar la percepción visual humana al restaurar los detalles de la imagen y corregir la distorsión del color, y proporcionar imágenes de alta calidad para tareas de visión avanzadas como la detección de objetos.
:::bloque-1
Kind , que se entrena principalmente emparejando imágenes con diferentes niveles de iluminación sin etiquetas GT. :::
:::bloque-1
MBLLEN es una red de mejora de baja iluminación de múltiples ramas que extrae características en diferentes niveles y genera una imagen de salida a través de la fusión de múltiples ramas.
:::
:::bloque-1
[IAT]( bmvc2022.mpi-inf.mpg.de/0238.pdf IAT "IAT") construye un transformador de extremo a extremo a través del aprendizaje dinámico de consultas. Después de que el modelo de mejora con poca luz restaura los detalles de la imagen, se mejora el rendimiento del detector. :::
Aunque los métodos anteriores logran ciertos resultados, la mayoría de los modelos de mejora con poca luz son complejos y tienen un gran impacto en el rendimiento en tiempo real de los detectores.
Detección de objetos en condiciones adversas
Esto es muy importante para la percepción robusta de los robots.Con el desarrollo continuo de la tecnología de detección, han surgido algunos modelos robustos de detección de objetivos que se adaptan a algunas condiciones adversas. Por ejemplo, algunos transfieren detectores del dominio de origen al dominio de destino a través de una adaptación de dominio no supervisada para adaptar el modelo a entornos hostiles.
:::bloque-1
IA-YOLO puede mejorar de forma adaptativa cada imagen para mejorar el rendimiento de detección. Propusieron un módulo de procesamiento de imágenes diferenciables (DIP) para el mal tiempo y utilizaron una pequeña red neuronal convolucional (CNN-PP) para ajustar los parámetros de DIP.
关于 IA-YOLO 的强化版本，笔者之前也分享过相关解读，大家可以访问：mp.weixin.qq.com/s/qPbxjDuPO… 或者直接关注 CVHub，后台搜索 DIAL-Filters 即可获取超详细的技术解读。
:::
:::block-1
GDIP-YOLO是再 IA-YOLO 基础上提出的，作者设计了一种门控机制，允许多个 DIP 并行运行。
:::
:::block-1
该方法主要提出了一个用于暗物体检测的多任务自动编码转换MAET，探索了照明转换背后的潜在空间。 :::
以上所有相关工作均开源了代码，感兴趣的可以去了解下。
方法
如前所述，由于暗光干扰，暗图像的可见度较差，这严重影响了检测器的性能。为解决这个问题，作者提出了一个金字塔增强网络PENet，并与YOLOv3联合，构建了一个暗物体检测框架PE-YOLO。PE-YOLO的框架概览如下所示：
大家从框架图应该也很容易看出，PE-YOLO就是个两阶段的网络，第一阶段用 PENet 去对原始的暗图像进行增强，得到的增强图像用于第二阶段的输入，后续的网络理论上可以换成任意的目标检测器。所以今天的重点还是再 PENet 上，让我们一探究竟。
PENet
PENet 通过拉普拉斯金字塔将图像分解为不同分辨率的组件。在 PENet 中，提出了两种核心组件：
- 细节处理模块（
DPM） - 低频增强滤波器（
LEF）
我们首先对输入图像采用 Gaussian 即高斯滤波器（高斯核的大小为 5×5）进行提取，每次进行高斯金字塔运算后，图像的宽度和高度都减半，这意味着分辨率是原始的 1/4。显然，高斯金字塔的下采样操作是不可逆的。为了在上采样后恢复原始的高分辨率图像，需要丢失的信息，而丢失的信息构成了拉普拉斯金字塔的组件。在重建图像时，我们只需要执行对应的的反向操作即可恢复高分辨率图像。
如上图所示，我们发现，拉普拉斯金字塔从底部到顶部更加关注全局信息，而反过来更加关注局部细节。这些都是图像下采样过程中丢失的信息，也是 PENet 需要增强的对象。通过细节处理模块（DPM）和低频增强滤波器（LEF）来增强组件，DPM 和 LEF 的操作是并行的。我们即将为大家详细介绍这两个组件。通过分解和重构拉普拉斯金字塔，PENet 可以做到轻量化和有效，这有助于提高后续检测器的性能。
细节处理模块
DPM 被设计成两个分支，一个边缘增强分支和一个上下文分支。其中上下文分支通过捕获远距离依赖获取上下文信息，并全局增强信息。边缘分支使用两个不同方向的Sobel算子计算图像梯度，以获得边缘并增强组件的纹理。
上下文分支：我们在获取远程依赖性之前和之后使用一个残差块来处理特征，而残差学习允许通过跳跃连接传输丰富的低频信息。第一个残差块将特征的通道从 3 改变为 32，第二个残差块将特征的通道从 32 改变为 3。捕获场景中的全局信息已经被证明对于低光增强等低级视觉任务是有益的。
边缘分支：Sobel 算子是一种离散算子，它同时使用高斯滤波器和差分导数。它可以通过计算梯度近似来找到边缘。我们在水平和垂直方向上都使用 Sobel 算子，通过卷积滤波器重新提取边缘信息，并使用残差来增强信息流。
低频增强滤波器
低频增强滤波器（LEF）主要目的是捕获图像组件中的低频信息，因为这些信息包含了图像的大部分语义信息，对于检测器预测非常重要。
LEF 首先通过卷积层将输入组件转换为不同的尺度。然后使用动态低通滤波器和平均池化捕获和过滤低频信息。特定的池化尺寸（如1×1、2×2、3×3和6×6）会被使用，并结合双线性插值采样，以形成不同规模的低通滤波器。这些滤波器最后通过张量拼接被整合，以恢复原始的图像尺寸。
实验
PE-YOLO 的有效性在 ExDark 数据集上通过多次实验进行了验证。以下是实验部分的主要内容和结果：
从表中可以看出，直接在 YOLOv3 之前使用低光照增强模型并没有显著提高检测性能。然而，PE-YOLO 在 mAP 上比 MBLLEN 高1.2%，比 Zero-DCE 高1.1%，达到了最佳结果。
从可视化结果可以发现，尽管 MBLLEN 和 Zero DCE 可以显著提高图像的亮度，但同时也放大了图像中的噪声。相比之下，PE-YOLO 主要捕获低光照图像中物体的潜在信息，同时抑制高频成分中的噪声，因此 PE-YOLO 具有更好的检测性能。
总体来说，这些实验结果表明，PE-YOLO 在低光照条件下的物体检测性能优于其他模型，而且在控制噪声和保留物体信息方面表现出色。
总结
PE-YOLO 是一种新颖的暗环境物体检测框架，该框架整合了金字塔增强网络（PENet）和YOLOv3。为了解决在暗光条件下图像可见性差的问题，该方法使用拉普拉斯金字塔将图像分解为具有不同分辨率的多个组件。然后，利用新提出的详细处理模块（DPM）和低频增强滤波器（LEF）增强这些组件的详细信息和低频信息。PE-YOLO以端到端的方式进行训练，无需额外的损失函数。通过在ExDark数据集上进行的实验，PE-YOLO相较于其他的低光照增强模型和暗光物体检测器，显示出了最佳的性能。
写在最后
Los zapatos para niños que estén interesados en la detección de objetivos pueden escanear el código QR en la parte inferior de la pantalla o buscar directamente en la cuenta de WeChat cv_huber para agregar amigos editores, nota: escuela/empresa-dirección de investigación-apodo, y comunicarse y aprender con más ¡amigos!