Original | Robot Wen BFT
01
contenido de investigación
El contenido de investigación de este artículo es una red neuronal híbrida multimodal inspirada en el cerebro para el reconocimiento de lugares de robots. Los investigadores diseñaron un sistema llamado NeuroGPR que imita el mecanismo de percepción multimodal del cerebro, codificando e integrando señales multimodales de sensores tradicionales y neuromórficos para el reconocimiento robótico de lugares. Para lograr este objetivo, los investigadores utilizaron varios modelos de redes neuronales, como máquinas de estado líquido multiescala para fusionar información multimodal de forma asíncrona. Los resultados muestran que NeuroGPR exhibe un mejor rendimiento y robustez en el reconocimiento de lugares de robots y tiene amplias perspectivas de aplicación.
02
principio de tesis
a. Mecanismo de percepción multimodal inspirado en el cerebro
Inspirándose en el mecanismo de percepción multimodal del cerebro, los investigadores diseñaron un modelo de red neuronal híbrida multimodal inspirado en el cerebro para el reconocimiento de la ubicación de los robots. El modelo puede imitar el mecanismo de percepción multimodal del cerebro, codificando e integrando señales multimodales de sensores tradicionales y neuromórficos para el reconocimiento de lugares de robots.
La figura 1 muestra. Mecanismos de reconocimiento de ubicación en humanos y robots.
A) Los humanos pueden reconocer un lugar basándose en señales sensoriales polimórficas con un continuo espaciotemporal. La ubicación está codificada por los detalles espacio-temporales de las sensaciones externas y las conexiones internas. Las señales sensoriales del paso múltiple pueden coactivar estas células. Los patrones de descarga conjunta pueden codificar y recordar de manera única un lugar específico.
(B) Un sistema de reconocimiento de lugares inspirado en el cerebro para que el robot reconozca un lugar, el robot de Simiarlv puede usar sensores multimodales para adquirir señales sensoriales del entorno. Se utiliza un modelo MHNN implementado en un chip informático neuromórfico para codificar estas señales sensoriales, y el modelo permite el reconocimiento reproducible de ubicaciones utilizando un enfoque de fusión de escala multitemporal.
B. Máquina de estado líquido multiescala
Los investigadores introdujeron una variedad de modelos de redes neuronales, como máquinas de estado líquido multiescala para fusionar información multimodal de forma asíncrona. Estos modelos pueden procesar información en diferentes escalas temporales y escalas espaciales, mejorando así la eficiencia y precisión del procesamiento de la información.
C. Chip neuronal híbrido
Los investigadores implementaron el sistema NeuroGPR en un neurochip híbrido como Tianjic y lo integraron en un robot cuadrúpedo para realizar pruebas. El chip neuronal híbrido tiene las ventajas de la computación paralela y el bajo consumo de energía, y es adecuado para escenarios con recursos limitados, como los robots móviles.
Figura 2. Arquitectura del sistema de georadar neural. El modelo AJMHNN consta de una CNN, una SNN y tres Cannes. Extraiga características multimodales de representaciones de señales sensoriales y use MLSM para la fusión de escalas multiespaciales y temporales.
(B) Componentes clave de un sistema de georadar neural. El sistema consta de sensores multimodales, un chip informático neuromórfico Tianji y un robot cuadrúpedo.
(C) La canalización del sistema de neurogeoradar, con una plataforma informática host dedicada a la adquisición de datos de sensores, preprocesamiento de datos, control robótico y comunicación de datos. El MHNN está mapeado e implementado en Tianjic, que reconoce ubicaciones en función de la entrada de datos de consulta.
03
Innovación
1. Diseñar un modelo de red neuronal híbrida multimodal inspirado en el cerebro.
El modelo puede imitar el mecanismo de percepción multimodal del cerebro, codificando e integrando señales multimodales de sensores tradicionales y neuromórficos para el reconocimiento de lugares de robots.
2. Se introduce una variedad de modelos de redes neuronales, como máquinas de estado líquido de múltiples escalas, para fusionar información multimodal de manera asíncrona.
Estos modelos pueden procesar información en diferentes escalas temporales y escalas espaciales, mejorando así la eficiencia y precisión del procesamiento de la información.
3. Implementó el sistema NeuroGPR en un chip neuronal híbrido como Tianjic y lo integró en un robot cuadrúpedo para realizar pruebas.
Los resultados experimentales muestran que NeuroGPR exhibe un mejor rendimiento y robustez en el reconocimiento de lugares de robots y tiene amplias perspectivas de aplicación.
4. La superioridad de NeuroGPR se demuestra al compararlo con métodos tradicionales y existentes basados en bioinspiración.
Además, NeuroGPR también tiene las ventajas de baja latencia y bajo consumo de energía, lo que es adecuado para escenarios con recursos limitados, como los robots móviles.
04
procedimiento del experimento
1. Diseñar e implementar el sistema NeuroGPR.
Los investigadores diseñaron un modelo de red neuronal híbrida multimodal inspirado en el cerebro para el reconocimiento robótico de lugares. También introdujeron una variedad de modelos de redes neuronales, como máquinas de estado líquido de múltiples escalas para fusionar información multimodal de manera asíncrona. Finalmente, implementaron el sistema NeuroGPR en un neurochip híbrido como Tianjic y lo integraron en un robot cuadrúpedo para realizar pruebas.
2. Realice un experimento de reconocimiento de lugares.
Los investigadores probaron las capacidades de reconocimiento de lugares del sistema NeuroGPR en diferentes entornos, incluidos pasillos, escaleras, bosques y otros escenarios. Adquirieron señales multimodales utilizando sensores convencionales y neuromórficos y las introdujeron en el sistema NeuroGPR para su procesamiento y reconocimiento. Los resultados experimentales muestran que NeuroGPR ha demostrado una mejor capacidad de reconocimiento de lugares en diferentes entornos.
Una instantánea del hilo de consulta probado
La figura 3 muestra una instantánea del entorno experimental. Instantáneas de experimentos robóticos en entornos de habitación (A), pasillo (C) y bosque (E). Indicaciones de referencia para el entrenamiento en ambientes de sala (B), pasillo (D) y bosque (F)
3. Comparación de NeuroGPR con métodos tradicionales y existentes basados en bioinspiración.
Los investigadores compararon NeuroGPR con los métodos SLAM visuales tradicionales y los métodos bioinspirados existentes, y los resultados experimentales mostraron que NeuroGPR mostró un mejor rendimiento y solidez en el reconocimiento del lugar.
4. Probar la aplicación de NeuroGPR en robots móviles.
Los investigadores integraron NeuroGPR en un robot cuadrúpedo para realizar pruebas.Los resultados experimentales muestran que la aplicación de NeuroGPR en robots móviles tiene las ventajas de baja latencia y bajo consumo de energía, y es adecuada para escenarios con recursos limitados.
05
Comparación de NeuroGPR con métodos tradicionales y existentes basados en bioinspiración
Los investigadores probaron la precisión del reconocimiento de lugares de NeuroGPR y otros métodos en diferentes entornos, y los resultados experimentales mostraron que NeuroGPR mostró un mejor rendimiento y solidez en el reconocimiento de lugares.
Los investigadores probaron la eficiencia computacional de NeuroGPR y otros métodos en un chip neuronal híbrido como Tianjic.Los resultados experimentales muestran que NeuroGPR tiene una latencia y un consumo de energía más bajos, y es adecuado para escenarios con recursos limitados, como los robots móviles.
Los investigadores probaron la robustez de NeuroGPR y otros métodos en diferentes entornos y condiciones, como cambios de iluminación, cambios climáticos, desenfoque de movimiento, etc. Los resultados experimentales muestran que NeuroGPR tiene una mejor robustez y adaptabilidad.
Figura 4. Resultados experimentales de robustez a cambios ambientales. La influencia del mismo módulo en la precisión del reconocimiento del conjunto de datos del bosque de la Universidad de Tsinghua (A), el conjunto de datos de PR de eventos de Brisbane (B) y el conjunto de datos del corredor). La precisión de reconocimiento de diferentes modelos se evalúa en el conjunto de datos de la habitación D), el conjunto de datos del corredor (E) y el conjunto de datos de Brisbane-Event-PR (F). El error medio y la desviación estándar se basan en los resultados obtenidos en cinco experimentos.
06
Pasos para las pruebas de rendimiento informático
1. Probar el rendimiento computacional del sistema NeuroGPR en neurochips híbridos como Tianjic.
Usando neurochips híbridos como Tianjic, los investigadores probaron el rendimiento computacional del sistema NeuroGPR, incluidas métricas como la latencia computacional y el consumo de energía. También compararon el sistema NeuroGPR con otros procesadores de robots móviles de uso común para evaluar su rendimiento computacional.
Fig. 5. Resultados experimentales de eficiencia y precisión computacional. Cálculos de latencia para cargas de trabajo de un solo NN (A) y cargas de trabajo de varios NN (B). (C) Consumo de energía de MHNN procesado bajo prueba de carga de red multineuronal D) Precisión de la mina neuronal que se ejecuta en el robot. Precisión de reconocimiento de ubicación (E), recuperación (F) y curvas de recuperación (G y H) basadas en diferentes conjuntos de datos. El error medio y SDS se basan en los resultados de cinco experimentos.
2. Probar el rendimiento computacional del sistema NeuroGPR en otros procesadores de robots móviles de uso común.
Los investigadores probaron el rendimiento computacional del sistema NeuroGPR en otros procesadores de uso común para robots móviles, incluidos procesadores como NVIDIA Xavier NX y AGX Orin. Usando herramientas como los tegrastats de NVIDIA, tomaron métricas como la latencia computacional y el consumo de energía para estos procesadores y los compararon con neurochips híbridos como Tianjic.
07
en conclusión
1. El sistema NeuroGPR ha demostrado una buena capacidad para identificar lugares en diferentes entornos, con alta precisión y robustez.
2. En comparación con los métodos SLAM visuales tradicionales y los métodos bioinspirados existentes, NeuroGPR muestra un mejor rendimiento y solidez en el reconocimiento de lugares.
3. La aplicación de NeuroGPR en robots móviles tiene las ventajas de baja latencia y bajo consumo de energía, y es adecuada para escenarios con recursos limitados.
4. En las pruebas de rendimiento informático, NeuroGPR tiene una latencia y un consumo de energía más bajos, y es adecuado para escenarios con recursos limitados, como los robots móviles.
08
Importancia social
Los resultados de la investigación son de gran importancia para promover el desarrollo de tecnología robótica, tecnología de inteligencia artificial y tecnología de interacción humano-computadora, y el sistema también puede ser ampliamente utilizado en varias industrias.Los siguientes cuatro campos son ejemplos:
1. Navegación de robots y percepción del entorno.
El sistema NeuroGPR puede ayudar a los robots a navegar de forma autónoma e identificar ubicaciones en entornos desconocidos, mejorando así el nivel de inteligencia y la eficiencia del trabajo de los robots.
2. Control inteligente de fabricación y automatización.
El sistema NeuroGPR se puede utilizar para el control automático y la inspección de calidad en la fabricación inteligente, mejorando así la eficiencia de la producción y la calidad del producto.
3. Hogar inteligente y ciudad inteligente.
El sistema NeuroGPR se puede utilizar en hogares inteligentes, ciudades inteligentes y transporte inteligente para mejorar la calidad de vida de las personas y el desarrollo sostenible de las ciudades.
4. Cuidado de la salud y vida asistida.
El sistema NeuroGPR se puede utilizar en los campos de la asistencia sanitaria y la vida asistida, como ayudar a las personas discapacitadas a moverse y vivir de forma autónoma y mejorar su calidad de vida.
Se puede ver que el sistema NeuroGPR tiene amplias perspectivas de aplicación y puede ayudar a resolver problemas prácticos en muchas industrias, mejorar la eficiencia de la producción y mejorar la calidad de vida de las personas.
Para obtener contenido más emocionante, preste atención a la cuenta oficial: BFT Robot
Este artículo es un artículo original y los derechos de autor pertenecen a BFT Robot. Si necesita reimprimir, contáctenos. Si tiene alguna pregunta sobre el contenido de este artículo, contáctenos y le responderemos a la brevedad.