1. Nube de puntos láser del lidar del vehículo
A través de la tecnología de nube de puntos, las imágenes lidar pueden ser más claras y precisas, y pueden aprovechar al máximo las ventajas de la alta resolución. La aplicación de la nube de puntos no solo puede ahorrar el tiempo de modelado tradicional, sino también aumentar la precisión del modelo, que es una de las ventajas técnicas de lidar.
El lidar montado en el vehículo es un sistema de escaneo móvil que puede analizar el tiempo de retorno después de que el láser encuentra el objeto objetivo al emitir y recibir el rayo láser, calcular la distancia relativa entre el objeto objetivo y el vehículo y usar el objetivo recopilado. superficie del objeto Una gran cantidad de densas Las coordenadas 3D, la reflectividad y otra información del punto pueden reconstruir rápidamente el modelo 3D del objetivo y varios datos de mapas, establecer un mapa de nube de puntos 3D y dibujar un mapa ambiental para lograr el propósito de ambiental percepción. La información del objeto recopilada por LIDAR presenta una serie de puntos dispersos con información precisa de ángulo y distancia, lo que se denomina nube de puntos, como se muestra en la Figura 1.
Figura 1 Reconocimiento de destino de nube de puntos 3D
01Parámetros y características de la nube de puntos láser
La nube de puntos láser se refiere al conjunto de datos de puntos espaciales escaneados por un equipo de radar láser 3D. Cada nube de puntos contiene coordenadas 3D (XYZ) e intensidad de reflexión láser (Intensidad). La información de intensidad estará relacionada con el material de la superficie y la rugosidad del objeto objetivo. , láser El ángulo de incidencia, la longitud de onda del láser y la densidad de energía del radar láser están relacionados. Los parámetros y características relevantes de la nube de puntos son los siguientes:
Tabla 1: Parámetros relacionados de la nube de puntos LIDAR
Tabla 2: Características de las nubes de puntos
02 Recibir y analizar los datos de la nube de puntos original
1. Recepción de datos de nubes de puntos
Los datos originales de la nube de puntos de LIDAR se almacenarán en un paquete de datos (PCAP).En este momento, los datos en el paquete de datos son una serie de símbolos de bytes y no se pueden usar directamente. Tomando como ejemplo el lidar de 16 líneas de Velodyne, los datos de la nube de puntos original se reciben principalmente mediante el envío de datos a la red en forma de UDP (Protocolo de datagramas de usuario).
A juzgar por el contenido de los datos, este tipo de lidar tiene 16 líneas de rayos láser en dirección vertical (-15° a +15°), y la longitud de los datos de cada cuadro se fija en 1248 bytes, estos bytes incluyen el primero 42 La primera identificación del paquete de datos de bytes, 12 grupos de paquetes de datos, 4 bytes de marca de tiempo y los dos últimos bytes de parámetros del modelo de radar.
Figura 3 Los datos de la nube de puntos de cada marco de Velodyne-16 lidar
Los datos de cada paquete de datos contienen información sobre el ángulo de rotación, el valor de la distancia y la intensidad de reflexión del rayo láser. Por ejemplo, "B6 07" representa el rango de detección del lidar de 3,948 m y "2A" representa la intensidad de reflexión del láser, pero esta información se expresa en dos bytes y se requiere un análisis más detallado de estos datos.
Figura 4 Parte del paquete de datos lidar de Velodyne-16
2. Análisis de datos de nube de puntos
Los datos sin procesar en el paquete de datos deben convertirse aún más en un conjunto de datos que se puede usar en formato PCD. El archivo PCD es principalmente una lista compuesta de coordenadas cartesianas (x, y, z) y valores de intensidad i, que Es decir, cada nube de puntos estará acompañada por un sistema de coordenadas 3D único y una intensidad de reflexión de la energía.
En este sistema de coordenadas, el eje x apunta al frente del automóvil y el eje y apunta al lado izquierdo del automóvil. Dado que este sistema de coordenadas usa la regla de la mano derecha, el eje z del sistema de coordenadas apunta hacia arriba del automóvil.
Figura 5 coordenadas pcd de la nube de puntos
03 Procesamiento de posicionamiento
Después de obtener las coordenadas tridimensionales anteriores y la información de intensidad de cada punto, el vehículo extraerá las características del estado de la carretera y hará coincidir las secciones de carretera correspondientes, para realizar su propio posicionamiento.
1. Extracción de características
El primer paso del uso de datos de nube de puntos para el posicionamiento es determinar primero "¿dónde estoy?" En este momento, el dispositivo de algoritmo de percepción primero debe extraer las características objetivo de la escena circundante y usar estas características y la información de distancia relativa obtenida para establecer un pequeño mapa, para determinar la posición inicial relativa del vehículo.
La extracción de características de la nube de puntos suele ser en tiempo real, lo que conduce a una gran cantidad de datos de la nube de puntos, y el rendimiento del hardware de los automóviles producidos en masa existentes es limitado, por lo que para reducir la cantidad de cálculo de los datos de la nube de puntos, la nube de puntos los datos generalmente se extraen cuando se extraen las características. Las características más obvias se extraen preferentemente, como la información del contorno del objeto, el ángulo de la línea de la superficie del objeto de destino, específicamente el poste de servicios públicos es la característica de la línea, la superficie de la carretera es la característica de la superficie, y la esquina del edificio es la característica de la esquina.
2. Coincidencia de mapas
Después de extraer las características de los objetos circundantes, el algoritmo de percepción debe realizar la coincidencia de mapas de nubes de puntos en función de estas características para obtener la pose relativa entre cada nube de puntos. coincidencia de mapas.
La coincidencia entre cuadros también se denomina coincidencia de subimágenes, que se refiere a hacer coincidir las nubes de puntos con las mismas características en los cuadros anteriores y posteriores, y finalmente obtiene un mapa local pequeño; la coincidencia de mapas de alta precisión se refiere a hacer coincidir la nube de puntos optimizada con el mapa de alta precisión. En la industria del piloto automático, los proveedores de soluciones de piloto automático o los OEM aplicarán estos dos esquemas diferentes, pero el esquema de coincidencia que se usa comúnmente todavía se basa en la coincidencia entre cuadros.
3. Optimización de poses
Una vez que se comparan los datos de la nube de puntos, se puede obtener la pose relativa entre cada nube de puntos (traducción y rotación durante el proceso de conversión de un sistema de coordenadas a otro), y la precisión de la pose relativa afectará la precisión de la construcción del mapa. , por lo que es necesario optimizar la pose relativa de la nube de puntos.
La imprecisión de la pose relativa se debe principalmente a algunos factores incontrolables, como que la nube de puntos esté bloqueada por objetos o la limitación del campo de visión lidar. La optimización de la pose de la nube de puntos se logra a través del cambio de cuerpo rígido (rotación o traducción) de un determinado sistema de coordenadas de nube de puntos. Obtenga la mejor pose relativa.
2. Clasificación y desarrollo de lidar automotriz
01 Lídar mecánico
El radar láser mecánico impulsa la matriz de transceptores para que gire como un todo a través del motor y puede escanear el campo de visión de 360° en el nivel espacial. Su sistema de transmisión y sistema de recepción giran macroscópicamente, y los componentes de transmisión están dispuestos verticalmente en una matriz lineal de fuentes de luz láser, y se generan rayos láser en diferentes direcciones en el plano vertical a través de la lente. Impulsado por el motor paso a paso, el rayo láser en el plano vertical gira continuamente desde la "línea" al "plano", y se forman múltiples excitaciones girando el "plano" de la luz de escaneo, para realizar el escaneo tridimensional del área de detección y forman una nube de puntos.
En 2005, Velodyne propuso por primera vez una tecnología de escaneo giratorio mecánico tridimensional para radar láser (número de solicitud: US11777802), que realizó con éxito el escaneo de 360 grados del radar láser y tomó la iniciativa para compensar el espacio en blanco de tecnología de escaneo de radar láser de vehículos. , el lidar mecánico está disponible. Actualmente, la compañía ha lanzado el lidar Alpha PUCK que usa 128 cables y aumenta la distancia de detección a 300 metros; en China, Hesai Technology también ha lanzado la serie Pandar de lidars mecánicos, de los cuales Panndar128 usa 128 cables, y el rango de alcance alcanza los 200 metros. La tecnología de lidar mecánico es relativamente madura.
Como la solución técnica más clásica y madura de lidar, el lidar mecánico se usa a menudo en la prueba y la iteración de taxis autónomos, pero el diseño discreto tradicional del radar mecánico se logra principalmente agregando módulos transceptores para lograr un arnés de cableado alto, aunque se puede lograr una detección de mayor precisión, todo el conjunto de componentes es voluminoso y tiene un espacio limitado para la reducción de costos.
02Lidar de estado sólido híbrido MEMS
El lidar de estado sólido híbrido MEMS (Sistema Micro Electromecánico) es un dispositivo semiconductor de "micromovimiento" en lugar de un escáner mecánico para realizar un escaneo láser en el transmisor de radar a escala microscópica. MEMS lidar combina MEMS (un dispositivo de alta tecnología con una estructura interna en el micrón o incluso nanómetro) y un espejo vibratorio (un componente semiconductor basado en silicio, que pertenece a un componente electrónico de estado sólido), y conduce el espejo vibratorio para moverse a través de MEMS, el láser se emite en todas las direcciones a través del galvanómetro, por lo que se denomina lidar híbrido de estado sólido.
Figura 7 Estructura del sistema de lanzamiento MEMS de radar láser de estado sólido híbrido
MEMS lidar integra todos los componentes mecánicos en un solo chip y los produce utilizando tecnología de semiconductores para lograr la miniaturización y el diseño electrónico de estructuras mecánicas. Como se muestra en la Figura 8, cuando el MEMS emite luz láser, el circuito de activación actúa sobre el láser y el espejo vibratorio del MEMS al mismo tiempo, de modo que el láser genera pulsos láser y el espejo vibratorio del MEMS gira. En este momento, el pulso emitido es escaneado por el láser bajo la rotación y reflexión continuas del espejo vibratorio, y finalmente colimado por la unidad óptica antes de ser emitido.
Como una actualización del lidar de exploración de rotación mecánica, el lidar MEMS se ha utilizado ampliamente. En la actualidad, el campo de los vehículos producidos en masa está equipado principalmente con lidar híbrido de estado sólido. Desde 2020, 21 modelos en todo el mundo han anunciado que estarán equipados con lidar, y las empresas chinas han lanzado 14. Estas empresas de automóviles eligen principalmente lidar híbrido de estado sólido.
El primer lidar de estado sólido híbrido MEMS fue el Innoviz One lanzado por la compañía israelí Innoviz en 2017; Sagitar lo siguió de cerca y lanzó el M1 similar al Innoviz One en el mismo año. Otra ruta de estado sólido híbrida prometedora es el espejo giratorio de un solo eje, que es la solución utilizada por Scala. Hesai Technology lanzó el radar láser AT128 de 128 líneas en el cuarto trimestre de 2021 y ahora se ha convertido en el proveedor designado de Lixiang, Jidu, Geely's Lotus, Gaohe y otras marcas.
El lidar de estado sólido híbrido se puede dividir en escaneo unidimensional y escaneo bidimensional. Lo que tienen en común es que cambian la dirección del láser a través del movimiento mecánico interno, la diferencia es que el escaneo unidimensional solo cambia la dirección horizontal. dirección, y el escaneo bidimensional cambia las direcciones horizontal y vertical al mismo tiempo. El esquema de escaneo unidimensional es usar el reflector en la dirección horizontal para cambiar la dirección de la luz para obtener la cobertura del campo de visión; el escaneo bidimensional tiene dos esquemas, uno es que el espejo vibratorio se mueve periódicamente a alta velocidad en el ejes horizontal y vertical a través del haz en voladizo, de modo que el escaneo se logra cambiando la dirección de reflexión del láser, y el otro escanea mediante un prisma poligonal que gira continuamente sobre el eje horizontal y un espejo que gira sobre el eje vertical. Estas tres opciones se describen en detalle a continuación.
Figura 8 La estructura interna de MEMS lidar de estado sólido híbrido
1. Escaneo bidimensional
El escaneo 2D se puede subdividir en MEMS y espejos giratorios 2D.
(1) El núcleo de la solución MEMS es un espejo vibratorio de escala centimétrica que se mueve periódicamente a alta velocidad en los ejes horizontal y vertical a través de un haz en voladizo, cambiando así la dirección de reflexión del láser para realizar el escaneo. En comparación con el radar láser mecánico tradicional, la solución MEMS simplifica la estructura de escaneo, y la ruta de escaneo se puede cambiar controlando el ángulo de desviación del espejo de microvibración. Solo se necesitan unos pocos láseres para lograr el área de cobertura y la nube de puntos de el radar láser multihaz mecánico Mismo efecto que la densidad.
Sin embargo, la dificultad técnica de esta solución es que el ángulo de rotación de la viga en voladizo es limitado, por lo que el campo de visión cubierto por un solo galvanómetro es muy pequeño y, a menudo, se requieren múltiples empalmes para lograr una gran cobertura de campo de visión. lo que puede causar irregularidades en la imagen de la nube de puntos en el borde superpuesto Distorsión y superposición, lo que aumenta la dificultad del procesamiento posterior del algoritmo.
(2) El esquema de espejo giratorio bidimensional consta de un prisma poligonal que gira continuamente sobre el eje horizontal y un espejo que puede oscilar sobre el eje vertical. Por ejemplo, el siguiente es un diagrama esquemático de un escaneo de espejo giratorio bidimensional existente en el mercado. El prisma poligonal de rotación continua puede permitir que la fuente de luz escanee horizontalmente, mientras que el espejo basculante de eje vertical puede cambiar la dirección de escaneo vertical del fuente de luz.
De acuerdo con este esquema de diseño, solo se necesita un haz de luz para completar la tarea de escaneo que solo puede ser completada por varias fuentes de luz de radar mecánico, pero debido a que solo hay un haz de láser, la frecuencia de escaneo es muy alta para garantizar escaneo de alta definición del mundo tridimensional y, al mismo tiempo, los requisitos de energía también son mayores, lo que presenta desafíos de confiabilidad para los dispositivos de escaneo.
2. Escaneo unidimensional
En comparación con la estructura de escaneo bidimensional, el escaneo unidimensional utiliza un espejo que solo gira a baja velocidad en la dirección horizontal para cambiar la dirección de la luz para obtener la cobertura del campo de visión, que tiene una mayor estabilidad y fiabilidad. En 2017, Valeo lanzó el primer radar láser en la industria que pasó la verificación de las regulaciones de vehículos, que adoptaron esta solución técnica, pero la limitación de esta solución es que la cantidad de líneas de escaneo es pequeña y es difícil lograr una alta resolución. .
03 LIDAR de estado sólido
Tanto los módulos transceptores mecánicos como los de estado semisólido se combinan con un módulo de escaneo para el movimiento mecánico. No pueden considerarse como de estado sólido puro. En el análisis final, el módulo de escaneo es solo un componente mecánico y una "forma". La "esencia" que realmente determina el rendimiento del lidar es su módulo transceptor. Solo aquellos que no tienen partes móviles en el interior son lidars de estado sólido puro, que tienen la estructura más simple y la integración más alta. En teoría, el lidar de estado sólido es un radar sin partes móviles en absoluto. La matriz en fase óptica (Optical Phased Array) y Flash son rutas técnicas típicas, y también se consideran soluciones lidar de estado sólido puro.
Figura 11: LiDAR de estado sólido FT120 de Hesai Technology
1. LIDAR de estado sólido OPA
El lidar OPA (matriz en fase) es un tipo de lidar que utiliza tecnología de matriz de control de fase óptica para realizar el escaneo láser. El transmisor OPA se compone de múltiples unidades de transmisión y recepción controlables de forma independiente. Cambiar el voltaje que se le aplica puede cambiar las características de las ondas de luz emitidas por cada unidad y luego lograr una mejora mutua en una dirección determinada al ajustar la relación de fase entre las emitidas. ondas de luz Interferencia, lo que resulta en un haz direccional de alta intensidad. Bajo el control de un programa bien diseñado, cada unidad de control de fase de OPA permite la dirección de uno o más haces de alta intensidad para realizar un escaneo espacial aleatorio.
Figura 12 Diagrama de bloques de lidar OPA
2. Flash lidar de estado sólido
El lidar flash (matriz de inundación) es un lidar que calcula la distancia ambiental mediante el registro del tiempo de vuelo de los fotones y pertenece al lidar sin escaneo. Durante el funcionamiento, el sistema de imágenes (una matriz de fuentes láser de alta densidad) emite una gran área de luz láser para cubrir el área de detección. Debido a las diferentes distancias desde la superficie del objeto hasta el punto de retorno, el tiempo de vuelo de los píxeles reflejados en la imagen después de que la fuente de luz alcanza la superficie del objeto también es diferente. El receptor de alta sensibilidad dentro del radar calcula la distancia correspondiente a cada píxel para completar la información sobre el entorno circundante, colección y dibujo.
Flash lidar es uno de los principales productos técnicos de todos los lidar de estado sólido en la actualidad. Sus principales ventajas incluyen alta velocidad de imagen, bajo costo, alta integración, adquisición no discreta y la capacidad de mejorar la comprensión espacial del sistema de percepción para el entorno. Sin embargo, debido a la limitación de la tecnología de chips, el rango de aplicación actual de Flash lidar es relativamente pequeño. Además, varios emisores emiten láseres pulsados al mismo tiempo, lo que también limita la potencia de sus módulos.
La ventaja del lidar de estado sólido es que puede minimizar el desgaste causado por estructuras mecánicas móviles, como motores y cojinetes, y al mismo tiempo eliminar la posible falla de los dispositivos optoelectrónicos debido a la rotación mecánica, haciendo que el diseño de la estructura interna de lidar de estado sólido más razonable y la disipación de calor general y la estabilidad es un salto cualitativo en comparación con lidar mecánico.
El lidar de estado sólido cancela la estructura mecánica rotatoria compleja y de alta frecuencia, que puede reducir los costos de producción en masa y materiales, mejorar la confiabilidad del producto, la eficiencia y la consistencia de la producción, y se desarrollará en el campo de la producción en masa a nivel de automóvil en el futuro.
Las deficiencias del lidar de estado sólido en esta etapa radican en la baja densidad de potencia y la distancia de detección corta, y no se puede usar en la producción en masa como el lidar principal. Sin embargo, la compensación de ceguera de corto alcance del lidar de estado sólido se puede combinar con la percepción de largo alcance del lidar de estado semisólido, para crear una solución lidar completa de grado automotriz.
Tabla 3: Comparación de tres lidars
La posición de instalación del vehículo lidar
Como se muestra en la Figura 14, las posiciones de instalación de lidar se dividen en dos categorías: una se instala alrededor del ICV y la otra se instala en el techo del ICV. Para el radar láser instalado alrededor del automóvil de red inteligente, el rayo láser generalmente es inferior a 8, y los más comunes son el radar láser de una sola línea y el radar láser de 4 líneas. Para el lidar instalado en el techo de un automóvil en red inteligente, su arnés de cableado láser generalmente no es inferior a 16, y los comunes son lidar de 16, 32 y 64 líneas. No importa dónde se instale, se deben cumplir los siguientes requisitos.
Figura 14 Ubicación de instalación de LiDAR
1. En primer lugar, de acuerdo con la capacidad antivibración y de impacto del radar, determine si se necesita un soporte amortiguador de vibraciones.
2. Si no necesita un soporte amortiguador de vibraciones, puede usar las lengüetas de montaje u otros orificios para tornillos de fijación en el radar.
3. El radar para evitar obstáculos requiere una inclinación horizontal de unos 5° hacia arriba para resolver la detección de objetos altamente reflectantes.
4. El radar de medición requiere que el plano de instalación sea lo más paralelo posible al suelo, lo que se utiliza para mejorar la precisión general del posicionamiento. Esto se debe a que si hay un ángulo de inclinación, habrá grandes errores en los contornos detectados por el radar en diferentes posiciones, lo que eventualmente afectará la precisión del posicionamiento.
5. La posición de instalación del cabezal láser no debe exceder los 200 mm desde el techo del automóvil, y la posición de instalación a una altura de aproximadamente 170 mm es la mejor (se puede usar para evitar y medir obstáculos de manera segura). Según la estructura de la carrocería, el radar se puede instalar hacia delante o hacia abajo.
6. En el diseño del radar, puede elegir la posición central de la parte delantera del automóvil o los cuatro puntos diagonales del automóvil. Si se colocan dos radares en esquinas opuestas del automóvil, el lidar puede detectar los 360° de la carrocería del automóvil, de modo que no haya ángulo muerto para evitar obstáculos.
7. Para diferentes carrocerías, habrá errores en la instalación x, dirección y actitud de rotación del radar, lo que eventualmente conducirá al mismo punto de posicionamiento en teoría, pero diferentes posiciones y actitudes de la carrocería. El sistema necesita establecer los valores de compensación de estos tres errores para garantizar su consistencia.
Referencias
1. Análisis del principio de lidar que se puede entender de un vistazo - Zhihu https://zhuanlan.zhihu.com/p/443488190
2. Un artículo para comprender el principio de funcionamiento de Lidar (Lidar) y radar (Radar), tecnologías relacionadas con datos de nubes de puntos y campos de aplicación - Saber sobre
3. https://zhuanlan.zhihu.com/p/449269751
4. Folleto tecnológico de Hesai - Hesai
Reimpreso de Zhizao Talk, las opiniones en el artículo son solo para compartir e intercambiar, y no representan la posición de esta cuenta oficial. Si hay problemas de derechos de autor, háganoslo saber y nos ocuparemos de ellos de manera oportuna.