Descripción general de los puntos de mejora de YOLOv4
YOLOv4 no aporta mucho desde una perspectiva académica, pero su valor para la implementación de ingeniería es grande. Una caja de herramientas para mejorar la detección de objetos es una colección de varios trucos (técnicas de entrenamiento).
De hecho, hay muchos trucos que YOLOv4 ha mejorado, pero aquí solo nos centraremos en las siguientes mejoras e innovaciones que se han implementado más en la industria y son más valiosas para la industria. ,
- Realice mejoras de datos y mejoras de datos de mosaico en la entrada de datos al modelo.
- La red troncal se actualizó de DarkNet53 de YOLOv3 a CSPDarkNet53
- La parte Neck presenta SPP y actualiza FPN a la estructura FPN-PANet
- La función de pérdida se actualiza a pérdida CIoU
- La función de activación se reemplaza de la función de activación RelU a la función de activación Mish
- El método de comparación de muestras no se mejora, pero aumenta el número de muestras coincidentes.
Desde una perspectiva de rendimiento, la velocidad de YOLOv4 es similar a la de YOLOv3, pero la precisión ha mejorado enormemente (AP aumentó de 33 a 42). Pero, para ser honesto, la velocidad y precisión de YOLOv4 aún no son tan buenas como las de EfficientDet, ATSS y ASFF.
[ Las representaciones del modelo YOLOv4 están aquí ]
1. Mejora de datos en mosaico
De hecho, YOLOv4 introduce una variedad de métodos de mejora de datos. Pero aquí solo presentamos la mejora de datos Mosaic que es de mayor importancia para la industria.
El aumento de datos de Mosiac seleccionará aleatoriamente 4 imágenes del conjunto de datos y luego unirá estas 4 imágenes para formar una nueva imagen. La verdad fundamental en cada imagen tiene un cuadro para el objeto. Durante el proceso de empalme, el cuadro delimitador también se tomará para corresponder a la posición original. La formación de esta nueva imagen significa que se pueden usar más fotografías para el entrenamiento, lo que enriquece enormemente la cantidad de datos y también aumenta la cantidad de objetos en los datos.
[ A continuación se muestran tres fotografías de la mejora de datos de Mosiac ]
Los pasos específicos son los siguientes:
- Selecciona al azar 4 fotos
- Realice una mejora de datos en estas 4 imágenes. Las cuatro fotos después de la mejora de datos se pegan en las posiciones correspondientes de la máscara con el mismo tamaño que la imagen de salida final (¿ qué significa? Significa que las tres imágenes empalmadas de arriba tienen el mismo tamaño después del empalme. Las posiciones correspondientes se determinan aleatoriamente dónde colocar la imagen. ¿Es eso lo que quieres decir?). Los métodos de mejora de datos incluyen:
- (1) Voltear (la niña que sostiene un paraguas en la primera imagen de la izquierda se voltea de izquierda a derecha en la esquina superior derecha de la tercera imagen de la izquierda, y la cebra también se voltea de izquierda a derecha);
- (2) Zoom (la niña que sostiene un paraguas en la primera imagen desde la izquierda, la niña en la esquina superior derecha de la tercera imagen desde la izquierda está ampliada, que también es un tipo de zoom)
- (3) Cambios en la gama de colores (brillo, saturación, tono). La jirafa en la esquina superior izquierda de la primera imagen de la izquierda y la segunda imagen de la izquierda son obviamente de color mucho más verde.
- Combine imágenes y cuadros delimitadores. Cuando se combinan las imágenes, se harán algunos desplazamientos como los de arriba. Si exceden el área designada, se segmentarán y truncarán (por ejemplo, se cortó el trasero de la jirafa en la tercera esquina superior izquierda desde la izquierda). porque excedió el área designada).
La función de este método de mejora de datos es mejorar la solidez del modelo.
2. Realice una mejora de datos en estas cuatro fotografías respectivamente.