Editar | Xin Zhiyuan
Haga clic en la tarjeta a continuación para prestar atención a la cuenta pública " Automatic Driving Heart "
Productos secos ADAS Jumbo, puedes conseguirlo
Haga clic para ingresar → El corazón del piloto automático [Algoritmo de pila completa] Grupo de intercambio técnico
[Introducción] CVPR 2023 anunció oficialmente el mejor artículo y otros premios importantes. El equipo del Laboratorio de Inteligencia Artificial de Shanghái, la Universidad de Wuhan y SenseTime publicaron conjuntamente el artículo de conducción autónoma orientada a la planificación (conducción autónoma guiada por la planificación de rutas), que logró un avance importante en la tecnología de conducción autónoma y ganó el mejor artículo de CVPR.
El CVPR anual es la principal conferencia en el campo de la visión artificial. En 2023, el número total de trabajos presentados a la conferencia CVPR llegará a 9.155.
Entre ellos, CVPR 2023 aceptó un total de 54 artículos de SenseTime y sus laboratorios conjuntos, incluido un mejor artículo, un mejor candidato para el artículo y siete artículos destacados.
Entre los casi 10 000 artículos, el equipo conjunto del Laboratorio de Inteligencia Artificial de Shanghái, la Universidad de Wuhan y el logro de investigación de SenseTime, Conducción autónoma orientada a la planificación, finalmente se destacaron y ganaron el Premio al Mejor Artículo CVPR 2023 (Premios al Mejor Artículo).
Este es el primer mejor artículo sobre el tema de la conducción autónoma en la historia de CVPR. Este artículo propuso por primera vez UniAD, un modelo a gran escala de propósito general para la conducción automática que integra la percepción y la toma de decisiones, y creó un precedente para la gran -Arquitectura de modelo a escala de conducción automática que se enfoca en tareas globales Es un avance importante en la tecnología de conducción autónoma y propone una nueva dirección para el desarrollo de la tecnología y la industria de conducción autónoma.
Título de la tesis: Conducción Autónoma Orientada a la Planificación
Dirección en papel: https://arxiv.org/abs/2212.10156
El documento muestra que, por primera vez, UniAD integra la detección, el seguimiento, el mapeo, la predicción de trayectoria, la predicción de la cuadrícula de ocupación y la planificación en un marco de red de extremo a extremo basado en transformadores, lo que representa un avance tecnológico importante en la conducción autónoma.
UniAD integra profundamente cada tarea a nivel de característica en forma de tokens, siguiendo el proceso de percepción-predicción-toma de decisiones, para que cada tarea se apoye entre sí y logre una mejora del rendimiento.
En todas las tareas en el conjunto de datos de nuScenes, UniAD logra un rendimiento SOTA, que es superior a todos los demás métodos de extremo a extremo, especialmente los efectos de predicción y planificación son muy superiores a otros modelos.
Como el primer modelo a gran escala de propósito general de la industria para la conducción automática que integra la percepción y la toma de decisiones, UniAD puede ayudar mejor en la planificación de la conducción, realizar "multitarea" y "alto rendimiento", y garantizar la confiabilidad y seguridad en la conducción de vehículos.
Basado en esto, UniAD tiene un gran valor y potencial de aplicación.
Integre cinco módulos principales para resolver el problema de "planificación" de la conducción autónoma
¿Por qué no puede hacerlo el anterior sistema de conducción automática?
La conducción autónoma es una tecnología muy compleja que requiere conocimientos y habilidades en múltiples disciplinas, incluida la tecnología de sensores, el aprendizaje automático y la planificación de rutas.
Al mismo tiempo, también necesita adaptarse a las diferentes normas viales y culturas de tráfico para lograr una buena interacción con otros vehículos y peatones para lograr un sistema de conducción automática altamente confiable y seguro.
La mayor parte de la investigación actual sobre sistemas de conducción autónoma se centra en un módulo específico, sin un modelo de red general que pueda lograr una optimización conjunta de extremo a extremo.
Los sistemas de conducción automatizada existentes se pueden clasificar en términos generales en tres categorías:
(a) sistemas modulares;
(b) sistemas con arquitectura de módulo multitarea;
(c) Sistema de conducción autónomo de extremo a extremo.
Entre ellos, el algoritmo tradicional de extremo a extremo se puede dividir en (c.1) algoritmo básico de extremo a extremo, que predice directamente la salida de control a partir de la entrada del sensor, pero la optimización es difícil y la aplicación en el la escena real llena de información visual compleja enfrenta grandes desafíos; (c.2) El diseño explícito de dividir la red de acuerdo con la tarea, pero falta una comunicación de características efectiva entre los módulos de la red, y se requieren los resultados de salida en etapas , y hay una falta de interacción efectiva entre las tareas.
(c.3) El método de percepción y toma de decisiones de diseño integrado orientado a decisiones propuesto en este documento utiliza características simbólicas para realizar una integración profunda de acuerdo con el proceso de percepción-predicción-toma de decisiones, de modo que los indicadores de varias tareas con la toma de decisiones como el objetivo se mejoran constantemente.
La más común es una arquitectura de sistema compuesta por módulos, o una arquitectura multitarea compuesta por algunos módulos.Todos se enfocan en optimizar algún rendimiento, como el rendimiento de detección (precisión de detección) y el rendimiento de predicción (precisión de predicción).
El sistema de conducción automática de extremo a extremo, representado por el modelo de conducción automática a gran escala UniAD, tiene como objetivo el máximo rendimiento de conducción y comienza con la resolución de problemas prácticos, como mejorar la seguridad de la trayectoria planificada del vehículo.
En la actualidad, la mayoría de los sistemas de conducción autónomos de extremo a extremo (E2E) de la industria solo pueden integrar algunos módulos porque no existe un buen marco de red para integrar los cinco módulos.
Por primera vez, UniAD integra los cinco módulos de detección, seguimiento, mapeo, predicción de trayectoria, predicción de cuadrícula de ocupación y planificación en un marco de red de extremo a extremo basado en Transformer Las tareas se fusionan en forma de tokens comunes para optimización conjunta.
Al mapear las imágenes circundantes con un transformador para obtener las características del BEV y, al mismo tiempo, rastrear el objetivo, el mapeo en línea, incluida la predicción de la trayectoria del objetivo, así como la predicción de obstáculos, y finalmente realizar el comportamiento de conducción. .
Wang Xiaogang, cofundador y científico jefe de SenseTime, dijo que UniAD es el primer modelo de conducción autónoma a gran escala de propósito general de la industria que integra la percepción y la toma de decisiones, y el rendimiento general del sistema ha mejorado mucho, lo que representa el desarrollo tendencia de la futura tecnología de conducción autónoma.
"Esta optimización de extremo a extremo supera a SOTA en muchos indicadores técnicos clave. Por ejemplo, la precisión del seguimiento de objetivos múltiples supera a SOTA en un 20 %, la precisión de la predicción de líneas de carril aumenta en un 30 %, el error del desplazamiento de movimiento previsto disminuye en un 38%, y el error de planificación en un 28% de reducción".
El sistema de conducción automática basado en UniAD, en comparación con otros sistemas que solo pueden integrar algunos módulos, utiliza un token común para la integración entre tareas, lo que puede completar más tareas al mismo tiempo, lograr un mayor rendimiento y mejorar en gran medida la eficiencia de depuración conjunta. de cada módulo Resuelva mejor los problemas prácticos en la conducción autónoma para promover efectivamente la comercialización.
El siguiente caso muestra las ventajas de UniAD en múltiples escenas complejas en el conjunto de datos nuScenes.
UniAD percibe el vehículo negro que espera frente a la izquierda, predice su trayectoria futura (está a punto de girar a la izquierda en el carril de su propio automóvil) y ocupación futura, calcula que existe riesgo de colisión si continúa avanzando, y Inmediatamente reduce la velocidad para evitarlo.Después de que el auto negro se vaya.Vuelva a seguir recto a velocidad normal.
Gracias a la profunda interacción entre el módulo de segmentación de mapas de UniAD y el módulo de planificación, el módulo de planificación emite juicios en función de la información de la carretera y gira de manera oportuna de acuerdo con la estructura de la carretera cuando avanza.
En las intersecciones con una gran interferencia visual y escenas complejas, UniAD puede generar la estructura vial general de la intersección (como se muestra en los resultados de segmentación verdes en el diagrama BEV de la derecha) y las trayectorias de los vehículos circundantes a través del módulo de segmentación. giro a la izquierda
Cuando la visión se oscurece por la noche, porque necesita continuar yendo directamente a la próxima intersección y girar a la izquierda, UniAD puede sentir que el vehículo de enfrente se detiene y hay obstáculos a la izquierda y a la derecha, así que deténgase primero, espere el vehículo. adelante para conducir, luego avance y gire a la izquierda
El siguiente caso muestra el efecto de demostración real de UniAD en la escena real en China.
En tramos de carretera congestionados, UniAD puede percibir el estacionamiento y el estado de arranque del vehículo grande que se encuentra adelante, tomar las decisiones correspondientes de desaceleración y aceleración, y mantener una distancia de seguridad suficiente
Gracias a la tarea de reconstrucción de mapas, UniAD también puede hacer una planificación de rutas que se ajuste a la curvatura de la carretera en intersecciones y caminos sinuosos.
Basado en la integración de la percepción y la toma de decisiones de UniAD, promover el desarrollo de modelos multimodales a gran escala para la conducción autónoma.
En los últimos años, como empresa de inteligencia artificial con tecnología líder en la industria, el diseño de investigación y desarrollo de SenseTime en el campo de la tecnología de conducción autónoma siempre ha atraído la atención de la gente.
Por ejemplo, en el Auto Show de Shanghái de este año, SenseTime demostró los resultados del AION LX Plus, Nezha S y otros modelos de GAC equipados con la solución de conducción inteligente de SenseTime.
Wang Xiaogang cree que estos son inseparables del camino tecnológico "modelo grande + dispositivo grande" creado por la construcción continua de SenseTime, así como la acumulación y práctica a largo plazo en la industria de conducción autónoma.
"En 2021, bajo la guía de un poderoso modelo de percepción, desarrollamos un algoritmo de percepción BEV (Bird Eye View) para la conducción autónoma y propusimos un Transformador BEV que tiene una amplia influencia en la industria. En Waymo Challenge, ganamos con un absoluto Ventaja. Ahora, el UniAD que desarrollamos es el primero en integrar la integración de la percepción y la toma de decisiones para lograr una conducción automática de extremo a extremo. En el futuro, seguiremos el camino de los modelos grandes multimodales para promover aún más el progreso de la conducción automática”.
UniAD es una tecnología de conducción autónoma altamente innovadora y, debido a su gran potencial y valor de aplicación, ha atraído un gran interés y atención tanto en la academia como en la industria.
Con el advenimiento de la segunda revolución liderada por la inteligencia artificial general (AGI), en base a esto, esperamos que en el futuro podamos promover la realización de inteligencia artificial de conducción autónoma de nivel superior.
Referencias:
https://arxiv.org/abs/2212.10156
(1) ¡El video curso está aquí!
El corazón de la conducción autónoma reúne fusión de visión de radar de ondas milimétricas, mapas de alta precisión, percepción BEV, calibración multisensor, despliegue de sensores, percepción cooperativa de conducción autónoma, segmentación semántica, simulación de conducción autónoma, percepción L4, planificación de decisiones, predicción de trayectoria , etc. Videos de aprendizaje en cada dirección, bienvenido a tomarlo usted mismo (escanee el código para ingresar al aprendizaje)
(Escanea el código para conocer el último video)
Sitio web oficial del vídeo: www.zdjszx.com
(2) La primera comunidad de aprendizaje de conducción autónoma en China
Una comunidad de comunicación de casi 1,000 personas y más de 20 rutas de aprendizaje de pila de tecnología de conducción autónoma, desea obtener más información sobre la percepción de conducción autónoma (clasificación, detección, segmentación, puntos clave, líneas de carril, detección de objetos 3D, Ocupación, fusión de sensores múltiples, seguimiento de objetos, estimación de flujo óptico, predicción de trayectoria), posicionamiento y mapeo de conducción automática (SLAM, mapa de alta precisión), planificación y control de conducción automática, soluciones técnicas de campo, implementación de implementación de modelos de IA, tendencias de la industria, publicaciones de trabajo, bienvenido a escanear el Código QR a continuación, Únase al planeta del conocimiento del corazón de la conducción autónoma, este es un lugar con productos secos reales, intercambie varios problemas para comenzar, estudiar, trabajar y cambiar de trabajo con los grandes en el campo, comparta papeles + códigos + videos diarios , esperamos el intercambio!
(3) [ Corazón de la conducción automatizada ] Grupo de intercambio de tecnología de pila completa
El corazón de la conducción autónoma es la primera comunidad de desarrolladores para la conducción autónoma, que se centra en la detección de objetos, la segmentación semántica, la segmentación panorámica, la segmentación de instancias, la detección de puntos clave, las líneas de carril, el seguimiento de objetos, la detección de objetos en 3D, la percepción de BEV, la fusión de sensores múltiples, SLAM, estimación de flujo de luz, estimación de profundidad, predicción de trayectoria, mapa de alta precisión, NeRF, control de planificación, implementación de modelos, prueba de simulación de conducción automática, administrador de productos, configuración de hardware, búsqueda de trabajo y comunicación de IA, etc.;
Agregue la invitación de Autobot Assistant Wechat para unirse al grupo
Observaciones: escuela/empresa + dirección + apodo