Lectura de la velocidad del papel: CenterPoint (detección y seguimiento de objetos 3D basados en el centro)
Referencias :
1. Papel CenterPoint
2. Código CenterPoint 3. Notas
en papel CenterPoint 4. CVPR
2021 |
1. Resumen
Los objetos tridimensionales generalmente se representan mediante cuadros 3D en nubes de puntos. Esta representación imita la detección de cuadros delimitadores 2D basada en imágenes, pero los objetos en el mundo 3D no siguen ninguna orientación en particular, y los detectores basados en cuadros 3D tienen dificultades para enumerar todas las orientaciones o ajustar cuadros delimitadores alineados con el eje para objetos rotados. Nuestro marco 首先检测使用关键点检测器检测物体中心，同时回归其他属性：3D 大小、3D 方向和速度。在第二阶段，它使用目标上的附加点特征来细化以上的估计。de seguimiento de objetos CenterPoint 3D se simplifica a la codiciosa coincidencia de puntos más cercanos. El algoritmo de detección y seguimiento es simple, eficiente y eficaz. En los conjuntos de datos abiertos de nuScenes y Waymo, se muestra el efecto sota.
2. Introducción
CenterPoint utiliza una red troncal basada en LIDAR como VoxelNet o PointPillars para representar la nube de puntos de entrada. La representación basada en el punto central tiene muchas ventajas, por ejemplo, a diferencia del cuadro delimitador, el punto no tiene concepto de rotación, además, puede simplificar el seguimiento de tareas aguas abajo, también es conveniente diseñar el módulo de refinamiento del segundo etapa más eficaz, y la segunda etapa extrae el límite tridimensional del objeto estimado Una característica puntual en el centro 3D de cada cara en el cuadro. Recupera la información geométrica local perdida por la zancada y el campo receptivo limitado, lo que es más efectivo que los esquemas anteriores.
Trabajo relacionado :
2D目标检测: Predecir cuadros delimitadores a lo largo de ejes de coordenadas. RCNN家族Identifique cuadros delimitadores de categoría desconocida e YOLO, SSD, and RetinaNetidentifique candidatos de cuadro específicos de categoría. CenterNet 、CenterTrackDetecte directamente el punto central del objeto sin cuadros candidatos.
3D目标检测: predecir el cuadro delimitador 3D. Vote3Deep、VoxelNet、SECOND、PIXOR、PointPillars、MVF、Pillar-od、VoteNet
两阶段3D目标检测: ROIPool, RoIAlign
3D目标追踪: filtro Kalman 3D, CenterTrack.
Trabajo preliminar :
2D CenterNet genera un mapa de calor (mapa de calor) w×h×k, k representa la categoría y el valor máximo local de ocho vecindarios representa el centro del objeto detectado. CenterNet primero predice el centro del objeto de cada categoría y luego establece el tamaño w×h×2de el objeto de regresión de dos canales (tamaño del objeto), incluidos el ancho y la altura del objeto. Al mismo tiempo, se devuelve un desplazamiento local (local_offset).
**Detección 3D. **Método habitual: a través de VoxelNet o PointPillars, a través de la red troncal, procesar un marco de nube de puntos en 图视角的特征图(mapa de características de vista de mapa, W×L×F), más un cabezal de detección
3. Red y método
La estructura general de la red se muestra en la siguiente figura. Para las predicciones de la primera etapa de CenterPoint 特定类别的热图、目标大小、亚体素位置细化、旋转和速度, todos los resultados son predicciones densas.
3.1 La primera etapa Centros y cajas 3D
1. La cabecera del mapa de calor del centro .
El objetivo es generar la posición central del pico del mapa de calor para cualquier objeto detectado. Durante el proceso de entrenamiento, el pico del mapa de calor se generará usando el centro 3D del cuadro delimitador etiquetado en la vista de mapa (vista de mapa) y luego usando la curva gaussiana 2D. Luego úsalo Focal losspara entrenar. Si CenterNet estándar se utiliza directamente para la formación, dará lugar a una señal de supervisión muy escasa y la mayoría de las posiciones se considerarán como fondo. Los autores amplifican la señal de supervisión dilatando el pico gaussiano en el centro de cada objeto de verdad del terreno (gt).
2. De vuelta a la cabeza .
También necesitamos guardar otras propiedades:
- Refinamiento de ubicación de subvóxel: reducción del error de cuantificación para operaciones de voxelización y escalonamiento en redes troncales, 2D.
- Altura sobre el suelo: ubicar objetos, agregar información de altura, unidimensional
- Tamaño 3D: tridimensional
- ángulo de guiñada: 2D
3. Cabezal de velocidad y seguimiento .
La estimación de la velocidad requiere el cuadro actual y el cuadro pasado, dos cuadros de datos. Luego, prediga la diferencia de posición entre los dos marcos y use la pérdida L1 para la supervisión. Durante la inferencia, use este desplazamiento (offset) para vincular la detección de los fotogramas anteriores y posteriores. Proyecte el centro del objeto del cuadro actual al cuadro anterior, calcule sus estimaciones de velocidad negativa y luego realice la coincidencia de distancia más cercana.
3.2 La segunda etapa CenterPoint .
Extra 点特征(característica de punto) se extrae de la salida de la red troncal. Extraemos una característica de punto del centro de cada cara del objeto 3D predicho. Debido a que los centros superior e inferior son ambos un centro en la vista de mapa, el autor lo consideró 四个点和一个中心点. Para cada punto, use 双线性插值para obtener.
4. Experimentos y Resultados
Métricas de evaluación : mAP ，mAPH，NDS，PKL，MOTA，MOTP
Waymo
nuScenes
