Xiaocha del informe qubit del templo cóncavo | número público QbitAI
¿Cuál es el mayor dolor de cabeza para Lego?
Por supuesto, estaba luchando por encontrar un bloque de construcción de cierta forma, pero no pude encontrarlo. Cuando abres el paquete con entusiasmo, todo lo que tienes delante es así, ¿cómo te sientes en tu corazón?
Bueno, ahora Daniel West, un entusiasta extranjero de Lego, resolvió este problema con IA. Usó el "Clasificador de Lego" que desarrolló para clasificar un bloque de construcción en menos de 2 segundos.
(Nota: la velocidad de clasificación real es dos veces más rápida. Para la conveniencia de la visualización, el autor redujo a la mitad la velocidad de las imágenes en movimiento).
Este clasificador se compone de Raspberry Pi y 10,000 ladrillos de Lego . Tomó 2 años construirlo. Realmente es "usar Lego para hacer Lego", y puede ser llamado el "muñeco simulado" más duro.
Primero veamos su enorme apariencia:
Recientemente, Raspberry Pi también ha enviado oficialmente un dispositivo de este tipo.
La tecnología de Daniel se basa en las anteriores, pero es más avanzada: puede identificar todos los ladrillos Lego que se han utilizado, incluso los que nunca se han visto.
Así que Daniel la llama la primera "máquina clasificadora universal LEGO" (máquina clasificadora universal LEGO) del mundo.
Proceso de trabajo
Primero, vierta un balde de ladrillos Lego en el clasificador. Debajo del transportador, los ladrillos caen en la ranura en forma de V en pequeñas cantidades en lotes.
Bajo la sacudida de la ranura en forma de V, los bloques de construcción se sacudieron en la cinta transportadora pieza por pieza.
La cámara sobre la cinta transportadora tomará varios fotogramas y completará el reconocimiento de los tipos de bloques en el proceso.
Luego, se empaquetan diferentes formas de bloques en diferentes cubos.
Finalmente, de acuerdo con la configuración de ensamblaje, coloque los bloques de construcción en cada caja de material según sea necesario.
Después de leer este conjunto de equipos, algunos internautas dijeron: ¿Pueden prestarme de nuevo para usarlo por unos días?
Realización técnica
De hecho, la tecnología que usa Daniel no es complicada, incluso escribió dos tutoriales para ella.
El hardware utilizado en esta máquina incluye: Raspberry Pi 3B +, módulo de cámara Raspberry Pi V2, 9 servomotores y 6 motores Lego. Sin embargo, el hardware más complejo debería ser el ensamblaje de 10,000 bloques diseñados por Daniel.
Lo primero que comenzó fue el trabajo de etiquetado de datos de imágenes. Daniel dejó que la máquina funcionara durante unos días y recopiló unas 300.000 imágenes sin etiquetar de ladrillos Lego.
Obviamente, no es práctico etiquetar 300.000 imágenes una a una a mano, y la cámara tomará de 10 a 20 imágenes de un bloque de construcción, y la eficiencia se puede aumentar de 10 a 20 veces mediante el embalaje y el etiquetado.
Pero aun así, hay decenas de miles de fotos que deben marcarse. Obviamente, es una forma tonta de llenar el contenido de la etiqueta en el archivo csv una y otra vez. Y hay muchos tipos de Lego, como cuadrados de 2 × 2, no es necesario dividirlos demasiado finamente.
Por lo tanto, Daniel decidió utilizar su experiencia en desarrollo web y dedicó unas horas a escribir una aplicación web sencilla. La velocidad ha aumentado de 2 a 5 veces.
Aun así, la eficiencia sigue siendo demasiado baja. Una vez más, Daniel pensó en usar la IA para "ayudar a jugar", dejar que la IA dé el TOP-5, seleccionar la opción correcta en la aplicación, de modo que se puedan marcar 10 imágenes a 5 por segundo, y la eficiencia general ha aumentado en 40 ~ 1000 veces.
En el diseño del software, Daniel se enfrentó a un desafío mayor, es decir, la potencia informática de la IA de la Raspberry Pi no es fuerte, cómo lograr la detección de objetivos en tiempo real.
Al principio, pensó en usar YOLO o Faster R-CNN, pero es difícil lograr una velocidad de procesamiento de 90 fps en la Raspberry Pi. Si la imagen se transmite a la PC para su procesamiento, el ancho de banda de la red se convertirá en un cuello de botella de rendimiento.
Daniel tuvo que usar la "vieja" tecnología de visión por computadora, el sustractor de fondo MOG2 en la biblioteca OpenCV, que puede procesar datos rápidamente incluso en la Raspberry Pi 3B +.
Sin embargo, el envío directo de cuadros de video a MOG2 no funciona correctamente. El brillo de los ladrillos de color gris claro y blanco es demasiado similar al fondo de la cinta transportadora para ser reconocido. Lo que se debe hacer es aumentar la saturación de la imagen antes de pasarla a MOG2.
Además, el ancho de banda de transmisión de las imágenes RGB era demasiado alto, por lo que Daniel tuvo que usar el formato YUV para comprimir el ancho de banda de la imagen a la mitad y recortar los píxeles fuera del marco de detección del objetivo.
Después de muchas simplificaciones, este sistema ha alcanzado una velocidad de procesamiento de 70 ~ 80 fps.
Finalmente, en la respuesta debajo del blog oficial de la Raspberry Pi, hay otro experto. Diseñó un clasificador hace 4 años para clasificar dos toneladas de ladrillos Lego.
En estos días, no me atrevo a jugar a Lego sin conocer un poco de tecnología de IA.
Enlace de referencia:
https://www.raspberrypi.org/blog/raspberry-pi-lego-sorter/
https://towardsdatascience.com/how-i-created-over-100-000-laoted-lego-training-images -ec74191bb4ef
https://towardsdatascience.com/a-high-speed-computer-vision-pipeline-for-the-universal-lego-sorting-machine-253f5a690ef4
- Termina -
Este artículo es el contenido original de la cuenta [qubit] del Programa de incentivos de contenido destacado de NetEase News • Se prohíbe la reimpresión no autorizada.
Únase a la comunidad de IA y amplíe su red en la industria de la IA
¡Qubit "AI Community" está reclutando! Los profesionales de la IA y los amigos que estén preocupados por la industria de la IA pueden escanear el código QR para unirse y seguir el desarrollo de la industria de la IA y el progreso tecnológico con más de 50.000 amigos :
Qubit QbitAI · titulares de la firma
վ'ᴗ 'ի Seguimiento de las nuevas tendencias en tecnología y productos de IA
Con un clic, tres "Compartir", "Me gusta" y "Mirar" consecutivos
Las fronteras de la ciencia y la tecnología se ven todos los días ~