Reimpreso
Esta es una nota de lectura en papel
Enlace de tesis: https://arxiv.org/abs/1708.02002
Enlace de código: https://github.com/facebookresearch/Detectron
Primero, haga una pregunta, ¿por qué la precisión de un método de una etapa es menor que la del método de dos etapas?
Este problema es el principal problema discutido y resuelto en este documento.
El autor concluye que un factor muy importante es el desequilibrio de las muestras positivas y negativas en el método de una etapa .
Entonces, ¿por qué el método de una etapa es desigual entre muestras positivas y negativas?
Aquí hay un ejemplo:
Primero observe un método típico de una etapa, SSD. En SSD, Prior se genera primero de acuerdo con una determinada regla, y se generarán alrededor de 10,000 regiones candidatas. Debido al muestreo regular, es relativamente denso y redundante, incluso si la minería es un ejemplo difícil (para Los puntajes se ordenan, tomando la parte anterior), pero aún habrá muestras más simples, haciendo que las muestras positivas y negativas se desequilibren.
En comparación con el método de dos etapas, tenemos a Faster R-CNN como representante. En Faster R-CNN, primero use la red RPN para generar el área de candidato del cuadro de destino, y la cita genera 1000-2000 cuadro de candidato, que filtra la mayoría de los simples Muestras negativas, luego, en el proceso de clasificación, use muestras positivas y negativas 1: 3 o el método OHEM para hacer que las muestras positivas y negativas sean más equilibradas.
Un breve resumen de las ventajas de las dos etapas es:
-
Utiliza una cascada de dos etapas, de modo que la etapa rpn puede controlar el número de regiones candidatas a aproximadamente 1-2k, que se reduce mucho en comparación con una etapa.
-
Muestreo de mini lotes, el muestreo no es un muestreo aleatorio, sino un muestreo basado en la posición de la muestra positiva (como establecer la muestra negativa en el pagaré de verdad real entre 0.1-0.3), que puede matar a un gran Algunas muestras simples y la elección de una relación de muestra positiva y negativa, como 1: 3, también están rompiendo el equilibrio.
Problemas causados por el desequilibrio de las categorías de muestra positivas y negativas:
- El entrenamiento es ineficiente y demasiadas muestras negativas no tienen efecto en el marco de detección. (la capacitación es ineficiente ya que la mayoría de los lugares son negativos fáciles que no contribuyen con una señal de aprendizaje útil)
- Demasiadas muestras negativas simples suprimirán el entrenamiento, haciendo que el efecto del entrenamiento no sea bueno. (acumular los negativos fáciles puede abrumar el entrenamiento y conducir a modelos degenerados).
Para resolver este problema, el autor propuso la pérdida focal y diseñó RetinaNet
Un método para resolver muestras positivas y negativas: pérdida focal
La pérdida focal se modifica en función de la pérdida de entropía cruzada, por lo que es necesario revisar primero la pérdida de entropía cruzada.
La fórmula para la pérdida de entropía cruzada es la siguiente: aquí hay una simple pérdida de entropía cruzada binaria, es decir, solo hay dos categorías.
Para simplificar, definimos Cuando γ es 2, la mayor parte de la pérdida de muestras negativas es muy pequeña, y solo una pequeña parte de la pérdida es relativamente grande, lo que también muestra que la pérdida focal juega un papel en la supresión de muestras negativas simples, haciendo la mayoría de las muestras negativas No tiene efecto
La siguiente es la precisión de detección de la red, así como la velocidad y la comparación con la red de última generación.
Mirando las dos imágenes a continuación, puede ver que los AP no son lo mismo. La razón principal es que usan algunas estrategias, como la transformación de escala.
Lo anterior es una cierta comprensión de la pérdida focal y RetinaNet, si hay algo mal, corríjame
