Cámara de conducción inteligente
1. Descripción de la cámara del automóvil
Como una importante dirección de desarrollo para los automóviles en el futuro, los autos autónomos se han convertido en un importante punto de crecimiento de la cadena de la industria de autopartes. Los proveedores de autopartes en el país y en el extranjero se están desplegando activamente en el campo de los sensores de conducción autónomos . Los tres componentes principales de las cámaras para vehículos, el radar de onda milimétrica y el LIDAR , así como la expansión de la cadena industrial aguas arriba y aguas abajo han brindado oportunidades de crecimiento para los proveedores de piezas.
Algunas compañías de autopartes con una gran fuerza integral en el hogar y en el extranjero llevan a cabo un diseño multiproducto en los sensores de los automóviles sin conductor, que pueden proporcionar soluciones integrales de conducción automática a los clientes intermedios y formar una fuerte competitividad. Estas empresas incluyen extranjera Bosch , Continental, Valeo, Hella, Delphi, Fujitsu día, Autoliv empresas y Desaixiwei interno, las empresas de automóviles de dominio y la tecnología chinas como Bao Long.
Cámara: la compañía internacional de piezas tiene una mayor cuota de mercado
La cadena de la industria de cámaras automotrices involucra principalmente tres eslabones principales : materiales aguas arriba, componentes medios y productos aguas abajo . Entre los materiales aguas arriba, las lentes ópticas, los filtros y las películas protectoras se usan para fabricar grupos de lentes, y las obleas se usan para fabricar chips CMOS y procesadores de señal DSP ; en los grupos de lentes intermedios, los chips CMOS y los materiales de pegamento se ensamblan en módulos, y El procesador de señal DSP está empaquetado en un producto de cámara. En este nivel de la cadena de la industria, los proveedores ascendentes ya pueden suministrar productos completos de cámara a clientes de vehículos descendentes o proveedores de primer nivel.
En la cadena de la industria de la cámara en el vehículo, las cámaras y los algoritmos de software juntos forman una solución de cámara en el vehículo, que se utiliza en vehículos autónomos. La cadena de la industria de la cámara en el vehículo es larga, y hay muchos enlaces en el flujo ascendente y descendente, cada enlace involucra a muchos fabricantes y empresas en el país y en el extranjero.
En comparación con las cámaras utilizadas en la electrónica de consumo, las cámaras de grado automóvil tienen mayores requisitos de resistencia a los golpes, estabilidad, características de enfoque continuo, compensación térmica y resistencia a la interferencia de luz parásita. Por lo tanto, su proceso de ensamblaje de módulos Complejo, fortaleza técnica alta. Desde la perspectiva del mercado global de suministro de cámaras, las empresas extranjeras como Panasonic , Valeo, Fujitsu Ten, Continental y Magna ocupan una gran parte. Los cinco principales fabricantes tienen una cuota de mercado total de alrededor del 59% , y la concentración es relativamente alta.
En la actualidad, las empresas con la mayor participación en el mercado de cámaras para vehículos son los principales proveedores mundiales de piezas de primera clase, y los clientes intermedios básicamente cubren a las principales empresas mundiales de vehículos. Los clientes intermedios de Valeo incluyen Volkswagen, Mercedes-Benz, BMW, Ford, Renault, Mazda, etc. Los clientes del Grupo Continental incluyen Volkswagen, Ford, GM, Mazda, etc. Los clientes de Fujitsu Tian son principalmente Toyota; el grupo de clientes de Magna También es extenso y cubre las principales compañías automotrices de Europa, América, Japón y Corea del Sur; Hitachi está dominada por las compañías automotrices japonesas.
2. Cómo funciona la cámara
La cámara es como las gafas de una persona, y el chip informático es como el cerebro de una persona . Para proporcionar al "cerebro" información visual para la toma de decisiones, la cámara necesita superar la interferencia del entorno adverso en la cámara.
En comparación con el esquema de lidar y el mapa de alta precisión, el esquema de visión por computadora es más lógicamente similar al proceso de conducción humana.
Para garantizar la seguridad, es necesario asegurarse de que la cámara pueda identificar rápidamente vehículos, peatones y señales de tráfico en diversos entornos hostiles, y pueda emitir imágenes claras, proporcionando suficiente garantía de conciencia ambiental para la etapa actual de la tecnología de conducción autónoma.
La información bidimensional de la cámara se extrae en el modelo tridimensional del entorno, utilizando la " cadena redundante de algoritmos basados en múltiples motores de visión por computadora y redes profundas. La
percepción del entorno de la cámara se basa en la información extremadamente rica de la imagen y la dificultad del modelado manual características, en lo profundo de aprendizaje puede maximizar sus ventajas.
reconocimiento de objetos
El resultado de la detección a la izquierda nos dice dónde hay probablemente un automóvil, pero no hay información sobre la ubicación y dirección específicas del automóvil.
Sin embargo , los resultados de la detección a la derecha pueden estimar de manera relativamente precisa información importante, como la posición del automóvil y la dirección de conducción, que es similar a la información que las personas pueden especular después de ver.
Cómo modelar el reconocimiento del vehículo, la red neuronal puede generar un cuadro delimitador tan preciso (cuadro delimitador), este es el poder del aprendizaje profundo.
zona transitable ( como espacio libre ) detectados
Hay dos métodos para detectar el área de manejo antes del aprendizaje profundo:
Uno se basa en la visión estéreo de la cámara binocular o la estructura del movimiento; el
otro es la segmentación de imágenes basada en características locales, como el campo de Markov.
Reconocimiento de ruta de conducción
El aprendizaje profundo proporciona una solución para el reconocimiento del camino de conducción. La red neuronal se entrena manejando datos sin la línea de carril. Después del entrenamiento, la red neuronal puede juzgar aproximadamente cómo puede conducir el automóvil en el futuro cuando no hay línea de carril.
Esta parte del principio también es relativamente clara: busque una persona para conducir, guarde el video de la cámara durante todo el proceso de conducción y guarde la ruta de conducción del vehículo estratégico conducido por la persona. Usando cada cuadro de imagen como entrada, la ruta del vehículo en el futuro (poco tiempo) se utiliza como salida para entrenar la red neuronal. La ruta de conducción proporcionada por la red neuronal básicamente se ajusta al juicio humano.
Este método de detección de objetos basado en el aprendizaje profundo es actualmente el mejor y más convencional . Para los algoritmos tradicionales, reduce en gran medida la tasa de detección perdida y la tasa de detección falsa de detección de objetos.
3. Ventajas y desventajas de la cámara
En 2013, Tesla y la cooperación de conducción autónoma de Google se declararon en bancarrota, y Musk revocó la solución de conducción automática de Google equipada con lidar. Desde entonces, Tesla ha formado internamente su propio equipo Ap, una solución de fusión multisensor basada en visión por computadora. Al mismo tiempo, Google también sigue confiando en Lidar a través de Waymo para desarrollar soluciones de conducción autónoma directamente para L4 .
La cámara graba todo a su alrededor.
Dado que las dos rutas técnicas para lograr la conducción autónoma de alto nivel han comenzado a formarse, la controversia en torno a la pregunta "¿ Si la conducción autónoma de alto nivel necesita un LIDAR? ¿Quién es Tesla y Google Waymo, quién es el primero en la conducción autónoma de la industria ? Nunca te detengas.
Por ahora, las compañías de conducción autónoma como Google Waymo, General Cruise, Baidu Apollo y Pony.ai han adoptado lidar como una solución de aplicación de sensores. Ventajosamente, la cámara es mucho más barata que Lidar. Sin duda, esto reduce el costo de los autos sin conductor, por lo que se espera que sea realmente soportado por los consumidores comunes. Además, la cámara no se verá afectada por la niebla, la nieve, la lluvia y otras condiciones climáticas, y la adaptabilidad es mejor. Desde el punto de vista morfológico, la cámara puede integrarse fácilmente en el diseño del automóvil y ocultarse en la estructura, sin hacer que la forma del automóvil parezca abrupta y más atractiva para los consumidores. Sin embargo, las cámaras también tienen sus propias debilidades. A diferencia de Lidar, que proporciona directamente la distancia precisa y la posición de los objetos, la cámara solo puede retroalimentar los datos de la imagen original al sistema. Esto requiere que los sistemas automotrices se basen en potentes capacidades de visión por computadora para procesar imágenes con precisión, al igual que el cerebro humano procesa los comentarios de los ojos. Anteriormente, los sistemas de visión por computadora no eran lo suficientemente potentes como para procesar grandes cantidades de datos de las cámaras para procesar y tomar decisiones de conducción de manera oportuna. Sin embargo, Tesla lanzó la "Computadora de piloto automático completo" (computadora FSD). Además de componentes como 8 cámaras de visión, 12 sensores ultrasónicos y radar, cada computadora FSD también contiene dos chips, cada uno de los cuales tiene dos aceleradores diseñados específicamente para ejecutar redes neuronales. Junto con el súper rendimiento, el programa de conducción autónoma basado en cámara de Tesla tiene la posibilidad de éxito. Musk dijo: "Solo los tontos usarán lidar". Musk puede pensar que la combinación de cámara + datos + red neuronal es suficiente para desafiar o incluso vencer a lidar. 4. Clasificación de cámaras Las cámaras montadas en automóviles incluyen cámaras monoculares, cámaras binoculares, cámaras gran angular, etc.
Hay muchas cámaras monoculares en la fase ADAS. Después de L3, se necesitan varias cámaras.
Para lograr una transición segura de la conducción automática a la manual, el sistema debe comprender completamente la situación dentro y fuera del vehículo. La cámara interna se usa para monitorear la situación del conductor, monitorear continuamente si el conductor está realizando la operación de manejo y la situación del tráfico frente al vehículo. El software relevante evaluará continuamente los datos de la cámara para mostrar si el conductor está conduciendo con atención o distraído, si el niño está mirando hacia su asiento trasero, está mirando la pantalla del teléfono inteligente o si la mano del conductor está en el volante o Póngalo en la parte posterior de la cabeza. Con este nuevo sistema de cámara, el vehículo y el conductor pueden seguir prestando atención a la situación del otro. En última instancia, esto ayuda a las personas a generar confianza en la conducción autónoma.
5. Aplicación en conducción sin conductor
1 ) Aplicación en ADAS La
cámara del automóvil es la base para realizar muchas funciones ADAS de alerta temprana y reconocimiento. Entre las muchas funciones ADAS, el sistema de procesamiento de imágenes visuales es más básico e intuitivo para el conductor, y la cámara es la base del sistema de procesamiento de imágenes visuales , por lo que la cámara del automóvil es esencial para una conducción inteligente.
Advertencia de salida de carril (LDW), advertencia de colisión frontal (FCW), reconocimiento de señales de tráfico (TSR), asistencia de mantenimiento de carril (LKA), advertencia de colisión de peatones (PCW), estacionamiento panorámico (SVP), advertencia de fatiga del conductor Todo se puede realizar con la cámara, y algunas funciones solo se pueden realizar con la cámara .
2 ) Aplicación en conducción sin conductor
En el sistema sin conductor, utilizamos una cámara binocular porque el costo es relativamente bajo.
Sin embargo, el problema de los binoculares en la producción real es que las dos cámaras del sistema binocular deben calibrarse con precisión. Debido a la inestabilidad de la estructura mecánica del hardware, durante el proceso de desplazamiento del vehículo, los golpes y las fluctuaciones relativamente pequeñas Los parámetros externos causan perturbaciones . Por lo tanto, tenemos que lograr una autocalibración relativamente confiable, que es un gran desafío para los binoculares desde el entorno experimental hasta la producción real.
Nuestro enfoque es desarrollar un algoritmo de autocalibración binocular más confiable, que modificará constantemente los parámetros externos binoculares a una frecuencia fija mientras el vehículo está conduciendo. En no tripulado, las soluciones que utilizamos son visión impulsada por ordenador, y luego se combinan con otros sensores , tales como el radar de onda milimétrica, GPS, IMU y otras soluciones de sensores.
El punto más crítico para reducir los costos es cómo usar las ventajas de los algoritmos para garantizar la seguridad . Esto incluye dos puntos:
Primero, validación cruzada entre diferentes tareas y algoritmos entre los sensores visuales. Sabemos que ningún algoritmo es 100% confiable, y cualquier algoritmo puede fallar. Sin embargo, si realizamos una validación cruzada entre múltiples algoritmos al mismo tiempo, la seguridad mejorará considerablemente.
Esto es lo que llamamos validación cruzada entre múltiples tareas.
En segundo lugar, la validación cruzada entre múltiples sensores es principalmente la validación cruzada de la salida del sensor de visión y el radar de ondas milimétricas. Por lo tanto, la clave para reducir los costos no significa que sacrifiquemos la seguridad, sino que es aumentar el límite de rendimiento de un solo algoritmo y validar de forma cruzada los resultados de múltiples algoritmos al mismo tiempo.
6. industria de la cámara
Situación de la cadena industrial de la cámara del automóvil
Incluye principalmente lentes, filtros, CMOS , PCBA , DSP y otros empaques, materiales protectores, etc. A diferencia de la cámara del teléfono móvil, la tecnología de módulos de la cámara del automóvil es mucho más difícil, principalmente porque la cámara del automóvil necesita mantener un estado de funcionamiento estable durante mucho tiempo en diversas condiciones de trabajo complejas, como alta y baja temperatura, calor húmedo, poca luz fuerte y vibración.
El chip, CMOS ( semiconductor de óxido de metal complementario o semiconductor de óxido de metal complementario) es el componente central de la cámara , que se usa ampliamente en las cámaras de los automóviles. El valor de CMOS representa aproximadamente un tercio del costo de la cámara, y está básicamente controlado por marcas extranjeras. La cuota de mercado de las tres compañías Sony, Samsung y OmniVision supera el 60%. Los chips
CCD y CMOS son una parte importante de la cámara de marcha atrás. Según los diferentes componentes, se pueden dividir en CCD y CMOS. CMOS se utiliza principalmente en productos con una calidad de imagen más baja. Sus ventajas son el costo de fabricación y el consumo de energía más bajo que el CCD. La desventaja es que las cámaras CMOS tienen mayores requisitos para las fuentes de luz; CCD es un componente técnico de alta gama utilizado en fotografía y video. Viene con una tarjeta de captura de video. La brecha técnica y de rendimiento entre CCD y CMOS es muy grande. En términos generales, el efecto de CCD es mejor, pero el precio también es más caro. Se recomienda elegir una cámara CCD sin considerar el costo. La lente también es una parte importante de la cámara, y las empresas de marcas independientes nacionales tienen ventajas obvias. Según el informe de investigación de TSR, entre los fabricantes mundiales de lentes de cámara en 2015, el envío de la compañía taiwanesa Dali Optoelectronics siguió siendo el primero, representando aproximadamente un tercio de la cuota de mercado mundial.