Haga clic en la tarjeta a continuación para seguir la cuenta pública " CVer "
Productos secos pesados AI/CV, entregados lo antes posible
Autor : Qingchen smile | Reimpreso con autorización (fuente: Zhihu) Editor: CVer
https://zhuanlan.zhihu.com/p/490229331
Introducción: en CVPR 2022, el equipo del Instituto de Investigación SenseTime propuso un modelo PTTR de seguimiento de nubes de puntos 3D basado en un transformador. PTTR primero propuso usar la correlación de características para muestrear en la etapa de extracción de características para guardar más puntos relacionados con el objeto rastreado, y luego diseñó un módulo Transformador de correlación de nubes de puntos para hacer coincidir las características de la nube de puntos. Finalmente, PTTR propone un módulo de corrección de predicción liviano para mejorar aún más la precisión de la predicción. Los resultados experimentales muestran que PTTR logra mejoras de precisión significativas en múltiples conjuntos de datos.
论文名称: PTTR: seguimiento de objetos de nube de puntos 3D relacional con transformador
Papel: arxiv.org/abs/2112.02857
Código: github.com/Jasonkks/PTTR
Problemas y desafíos
El seguimiento de objetos es una tarea fundamental de visión por computadora que ha recibido una amplia investigación sobre datos de imágenes. En los últimos años, con el desarrollo de la tecnología de radar, el seguimiento de objetivos basado en nubes de puntos también ha ganado más atención. Los datos de la nube de puntos tienen algunos desafíos únicos, como la escasez, la oclusión y el ruido de la nube de puntos. Estas características nos impiden utilizar algoritmos basados en imágenes directamente para el seguimiento, y los algoritmos de seguimiento basados en nubes de puntos están poco estudiados en la actualidad. Uno de los desafíos del seguimiento de la nube de puntos es que cuando el objeto está lejos del sensor, la nube de puntos dispersa puede dificultar mucho el seguimiento. Además, los algoritmos de seguimiento de nubes de puntos existentes utilizan principalmente el método lineal de similitud de coseno para la coincidencia de características, y hay un gran margen de mejora.
Introducción al método
En respuesta a los problemas planteados anteriormente, proponemos un nuevo marco de seguimiento de nubes de puntos, como se muestra en la siguiente figura. El modelo se divide en tres etapas: En la etapa de extracción de características, proponemos un nuevo método de muestreo consciente de la semántica (Muestreo consciente de la semántica), que utiliza la relación de características entre la plantilla y el área de búsqueda para el muestreo, ahorrando así más puntos de primer plano. . En la etapa de coincidencia de características, proponemos una estructura de transformador de relación de nube de puntos (transformador de relación de puntos) para hacer coincidir de manera eficiente las características de la plantilla y el área de búsqueda. Finalmente, proponemos un módulo de refinamiento de predicción para mejorar aún más la precisión de la predicción a través del muestreo de características.
1. Muestreo consciente de la relación
La escasez de nubes de puntos es un desafío importante para los algoritmos de seguimiento, y la extracción de características de las nubes de puntos suele ir acompañada de un proceso de reducción de muestreo. La mayoría de los algoritmos de seguimiento existentes utilizan muestreo aleatorio, que perderá una gran cantidad de puntos de primer plano en el área de búsqueda durante el proceso de muestreo, lo que no es propicio para la coincidencia de características posterior. Por lo tanto, proponemos el muestreo consciente de la semántica, que utiliza la distancia de características entre la plantilla y el área de búsqueda para el muestreo. Dado que el área de la plantilla se compone principalmente de nubes de puntos en el objeto de destino, podemos obtener tantos puntos de primer plano como sea posible al muestrear esos puntos con la plantilla y la distancia de características más pequeñas en el área de búsqueda. Como se muestra en la figura a continuación, comparamos diferentes métodos de muestreo y la proporción de los puntos muestreados ubicados en el marco objetivo tridimensional, se puede ver claramente que nuestro RAS propuesto obtiene los puntos de primer plano en la mayor medida.
2. Coincidencia de características mejoradas por relación
En el problema de seguimiento, necesitamos hacer coincidir la plantilla y los puntos en el área de búsqueda. La mayoría de los algoritmos de seguimiento de un solo objetivo 3D existentes utilizan la distancia coseno de la característica, y se considera que el punto con una distancia coseno pequeña tiene un alto grado de coincidencia. Por el contrario, diseñamos un mecanismo de atención basado en relaciones basado en la aplicación exitosa del mecanismo de atención en visión artificial para que coincida con la plantilla y la nube de puntos del área de búsqueda. Como se muestra en la figura a continuación, el módulo de atención que diseñamos utiliza atención compensada, fusiona funciones de consulta, clave y valor, e introduce la no linealidad a través de la capa de activación. Específicamente, primero procesamos la plantilla y la nube de puntos del área de búsqueda a través de un módulo de autoatención, luego usamos la nube de puntos del área de búsqueda como la consulta, la nube de puntos del área de la plantilla como clave y valor, y la ingresamos en un atención para obtener Se obtienen las características de la nube de puntos del área de búsqueda después de la coincidencia.
3. Predicción de seguimiento de grueso a fino
La mayoría de los algoritmos de seguimiento de un solo objeto 3D existentes simplemente utilizan el módulo de predicción de los detectores 3D, como Votenet, RPN, etc. Argumentamos que un módulo de predicción de detección similar inevitablemente introduce computación redundante, lo que resulta en una disminución de la eficiencia. Por lo tanto, proponemos un nuevo módulo de corrección de predicción, que extrae las características de la nube de puntos correspondientes de la nube de puntos de plantilla, la nube de puntos de búsqueda y la nube de puntos de búsqueda fusionada, y las combina para predecir directamente. Esencialmente, dejamos que cada punto en el área de búsqueda prediga una propuesta con características en diferentes etapas. En la etapa de inferencia, tomamos como resultado de la predicción la propuesta con mayor puntaje.
4. Conjuntos de datos
Además de las contribuciones metodológicas, también proponemos un nuevo conjunto de datos de seguimiento de nubes de puntos a gran escala basado en Waymo Open Dataset. Dado que la identificación correspondiente está marcada para cada objetivo en Waymo, se puede extraer la información de ubicación de una identificación determinada en diferentes momentos. En base a esto, hemos creado el conjunto de datos de seguimiento de un solo objetivo de Waymo, como se muestra en la siguiente tabla, hicimos The Waymo El conjunto de datos de seguimiento supera con creces a KITTI en términos de volumen de datos, lo que proporciona una línea de base para futuras investigaciones sobre grandes conjuntos de datos por parte de la comunidad académica.
5. Experimenta
Comparamos los efectos de PTTR y otros modelos en los conjuntos de datos de KITTI y Waymo respectivamente, como se muestra en la tabla a continuación, podemos ver las ventajas de PTTR en comparación con los métodos existentes.
Para verificar el efecto de cada módulo, realizamos varios experimentos de ablación y los resultados experimentales también verifican la efectividad de cada módulo que proponemos.
Epílogo
En este artículo, proponemos un nuevo modelo de seguimiento de nube de puntos 3D. Utiliza el muestreo basado en relaciones para aliviar el problema de dispersión de la nube de puntos, utiliza el mecanismo de atención de Transformer para completar la coincidencia efectiva de características y utiliza el muestreo de características locales para mejorar aún más la precisión de la predicción. Los experimentos muestran que nuestro método propuesto mejora efectivamente el rendimiento del seguimiento de nubes de puntos.
Transformer和 3D点云交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-Transformer 或者 3D点云微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看