Sistema inteligente de detección de defectos basado en reconocimiento de imágenes por IA, aplicación en la industria del acero - solución técnica

Nota: El intercambio de tecnología posterior, las actualizaciones inmediatas y la información técnica más oportuna y los materiales técnicos de aprendizaje se publicaránen la cuenta oficial CTO Plus . Siga la cuenta oficial: CTO Plus

Texto original: Sistema inteligente de detección de defectos basado en reconocimiento de imágenes por IA, aplicación en la industria del acero - solución técnica (qq.com)

imagen

En el artículo anterior de la cuenta pública CTO Plus , "Sistema de aplicación de detección de defectos industriales basado en reconocimiento de imágenes AI (GPU y FPGA)", di una descripción aproximada de los escenarios de aplicación de detección de defectos de mis productos de reconocimiento de imágenes AI en el campo industrial, incluido Escenarios de aplicación e implementación Casos y ventajas. En este artículo, presentaré más a fondo la solución técnica de este producto.

Si tiene algún requisito de solicitud o pregunta, comuníquese con el autor de este artículo en segundo plano Información de contacto (igual que WeChat): 15801030767

Descripción general

En la actualidad, las empresas siderúrgicas nacionales y extranjeras dependen principalmente de la identificación y el juicio manual en el proceso de inspección de chatarra. Debido a la falta de
herramientas de aceptación eficientes, precisas y convenientes, los inspectores de calidad de la chatarra a menudo solo pueden confiar en el conocimiento y la experiencia profesionales personales.

Hay muchos tipos de chatarra de acero en las plantas de chatarra con subdivisiones de calidad claras. La forma más importante de inspeccionar la calidad de la chatarra de acero es clasificar
la chatarra de acero e identificar impurezas y otros materiales no calificados mediante inspección visual manual. Los juicios de inspección de calidad tradicionales son muy subjetivos, tienen muchas objeciones a los juicios y tienen una gestión y trazabilidad sistemáticas insuficientes.

El sistema inteligente de inspección de chatarra realizará la recopilación automatizada de datos y la gestión precisa de datos, y aplicará
tecnología de reconocimiento profundo de imágenes para ayudar a la clasificación manual de chatarra y la identificación de materiales no calificados. Puede identificar las proporciones de varios grados de chatarra y proporcionar precios y peso de impurezas. además de proporcionar alarmas para sellos aceitosos.

De acuerdo con la situación actual, el proyecto se puede verificar primero en 2 espacios de estacionamiento en el taller de fabricación de acero y luego
promocionarse o trasladarse a otros espacios de estacionamiento después de pasar la inspección de aceptación.

Introducción al programa inteligente de inspección de chatarra

Identifique automáticamente la carrocería del vehículo y bloquee directamente el vehículo de descarga a través del algoritmo de detección de objetivos para iniciar la detección.
El algoritmo satisface una variedad de sitios y escenarios de descarga. Incluyendo: ventosa de grúa de aviación, agarre de máquina de agarre de acero, descarga y nivelación directa de camiones, escenas de envío por muelle, etc.
Identifique con precisión la calidad de la chatarra de acero y el peso varios a través de múltiples dimensiones (espesor, forma, tamaño, color, viejo y nuevo).
Puede identificar una variedad de tipos de materiales no calificados: impurezas, piezas selladas, piezas aceitosas, piezas demasiado largas, materiales defectuosos, arrabio mecánico, etc., y emitir alarmas en tiempo real.
Se pueden cambiar múltiples videos de vigilancia en tiempo real y se puede proporcionar una revisión histórica. La información del sistema es rastreable y verificable.
Soporta múltiples posiciones de descarga trabajando al mismo tiempo, es decir, múltiples usuarios trabajando al mismo tiempo.

imagen

Ventajas y valor del sistema de inspección inteligente de chatarra de acero

Evite pérdidas causadas por errores de inspección manual. Los resultados de la inspección manual son inevitablemente inestables y, si son inferiores al punto de referencia de evaluación, aumentarán el costo de la planta siderúrgica.
El sistema puede realizar inspecciones las 24 horas del día, los 7 días de la semana y puede recibir vehículos chatarra durante todo el día, lo que mejora efectivamente la eficiencia del trabajo.
Para mejorar la apertura y la equidad, el sistema cuenta con almacenamiento de vídeo e imágenes de alta definición, que pueden auditarse y rastrearse para lograr una gestión transparente.
Para evitar eficazmente riesgos de seguridad, los inspectores de calidad pueden permanecer alejados del lugar de descarga y trabajar de forma remota con el sistema.
Mejore efectivamente la precisión de la identificación de materiales no calificados. El algoritmo del sistema puede identificar con precisión materiales no calificados, como piezas selladas y piezas manchadas de aceite, y eliminar estrictamente el peligro de que materiales peligrosos ingresen al horno.
Reduce en gran medida la intensidad del trabajo del personal relevante, ayuda a mejorar la satisfacción de los empleados y reduce la fuga de cerebros.

Proceso de inspección manual de chatarra.

Proceso de inspección:

Primero se debe pesar el camión de chatarra y declarar el tipo de material de chatarra.
Conduzca hasta la posición de detección de descarga designada y use la ventosa para descargar. Generalmente, 1 o 2 inspectores tomarán la decisión.
El inspector observa los materiales descargados del automóvil y la ventosa. Después de descargar la chatarra de acero, el inspector proporciona directamente los resultados de la deducción de grado e impurezas del automóvil según la experiencia, ingresa los resultados en la terminal portátil e ingresa al sistema de la empresa. .
Los camiones vacíos se pesan y depositan.

imagen

Normas de inspección de calidad de chatarra de acero.

La fase de verificación del proyecto implementa principalmente la detección inteligente de materiales a granel, como materiales sobrantes y desechos pesados, como se muestra en la Tabla 2-1. En el futuro, tendremos la oportunidad de probar juntos la detección inteligente de materiales rotos.

imagen

Resultados de la inspección de chatarra de acero

El inspector de calidad ingresa los resultados de la inspección actual en la terminal portátil, incluida la matrícula, la empresa, el tipo, información diversa y otra información, y se sincronizan automáticamente con el sistema informático de la empresa.

Solución inteligente de inspección y juicio: algoritmo inteligente de inspección y juicio de desecho

Algoritmo 1: Algoritmo de identificación del grado de chatarra de acero

[Utilizando algoritmos como el aprendizaje profundo y la detección de objetivos, primero se preprocesa la imagen, se ecualiza el histograma y se procesa la morfología de la imagen. Luego verifique la calidad de la imagen. Finalmente, se obtiene el resultado de salida de la calidad de chatarra de acero]

imagen

Algoritmo 2: Algoritmo de identificación de ubicación para materiales no calificados

[Usando YOLO con Darknet, para cada imagen de entrada, se puede identificar y marcar la ubicación de impurezas y otros materiales no calificados. 】

imagen

Algoritmo 3: Algoritmo de identificación de tipo para materiales no calificados

[Uso de Fast R-CNN para buscar posibles objetivos de impurezas en fotografías, delimitar el rango de ubicación y luego identificar la categoría a la que pertenecen]

imagen

Algoritmo 4: algoritmo de salida de peso de material no calificado

[Seleccione y entrene una red neuronal convolucional profunda a partir de modelos de algoritmos como ResNet, Inception y VGG, utilizando fotos como entrada y utilizando directamente materiales no calificados, como impurezas, como salida para lograr una estimación de contenido de un extremo a otro]

imagen

Algoritmo 5: Algoritmo de identificación de piezas selladas

【Utilice algoritmos como la ecualización de histograma y la corrección gamma para optimizar los efectos de imagen y resaltar los objetivos fotográficos. Utilice el suavizado para reducir el ruido en la imagen, utilice la mejora de bordes para resaltar el contorno del sello y dar una advertencia temprana. 】

imagen

Algoritmo 6: Algoritmo de identificación de piezas manchadas de aceite

[Utilice algoritmos como la ecualización de histograma y la corrección gamma para optimizar los efectos de imagen y resaltar las características del objetivo fotográfico. Utilice el suavizado para reducir el ruido en las imágenes, utilice la mejora de bordes para resaltar el contorno de las partes aceitosas y avise con antelación. 】

imagen

Algoritmo suplementario

【Mejora de datos】

En vista de la pequeña cantidad de datos en la etapa inicial del lanzamiento del sistema, se pueden utilizar métodos de mejora de datos para ampliar el conjunto de datos de entrenamiento. Realice una o más operaciones en las imágenes recopiladas: rotación aleatoria, recorte aleatorio, tramado de color, alteración de ruido, volteo horizontal y volteo vertical para aumentar artificialmente el tamaño del conjunto de entrenamiento, enriquecer la diversidad de datos y evitar el sobreajuste.

【Transferir aprendizaje】

Utilice conjuntos de datos públicos, como ImageNet, para entrenar previamente modelos de redes neuronales como YOLO, y transferir parámetros y conocimientos basados en ellos, logrando así soporte para tareas de detección de chatarra de acero con menos recursos informáticos y tiempo de capacitación.

Esquema de detección inteligente

imagen

Proceso de entrenamiento e inferencia:

imagen

Recopilación de datos de imágenes de desecho

Instale cámaras en varios puntos del taller de chatarra para recopilar datos de imágenes de chatarra durante el proceso de descarga. Las imágenes recopiladas tienen dos propósitos: extraer algunas muestras para anotaciones de imágenes y usarlas para el entrenamiento del modelo de algoritmo; durante el proceso de producción real, se usan como fuentes de datos y se pasan al sistema de razonamiento de datos del algoritmo de detección inteligente de chatarra de acero para el razonamiento de datos.
Las cámaras se utilizan en el sitio para un monitoreo completo las 7 horas del día, las 24 horas, y se guardan en forma de videos y se utilizan capturas de pantalla para seleccionar y recopilar imágenes.
Principio de captura de pantalla: cada vehículo se descarga. Después de que el vehículo esté estacionado, la ventosa succionará el material de acero varias veces. En principio, primero se selecciona la imagen inicial después de que el vehículo está estacionado y se completa la imagen después de cada acción de descarga. Una foto. Es decir, seleccione la imagen antes de la primera acción de descarga y la imagen después de cada acción.
Ajuste del ángulo de la cámara: La descarga es relativamente fija. Para obtener imágenes de alta calidad, no es necesario ajustar el ángulo, la distancia focal y otras configuraciones de la cámara. Solo asegúrese de que la cámara pueda capturar el proceso completo de descarga de la cámara. vehículo.
Contenido de la filmación: Tomando como contenido principal el camión que se está descargando actualmente, se puede ver la mayor parte del frente del camión, la mayoría de las ruedas y el compartimiento completo.

Anotación de datos de imágenes de desecho

Los inspectores y expertos de calidad de la planta de chatarra de acero anotarán y guiarán los datos de imágenes recopilados. Durante este proceso, nuestra empresa enviará ingenieros de anotación profesionales para ayudar en el sitio y el tiempo en el sitio se organizará de acuerdo con la situación específica. La anotación de datos es un requisito previo importante para la implementación del algoritmo y requiere la experiencia y orientación de inspectores de calidad y expertos en plantas de chatarra de acero.

Un ejemplo de anotación: el inspector de calidad puede mirar la imagen de descarga, rodear con un círculo el límite y la ubicación del material no calificado y escribir el valor de peso visual; el inspector de calidad puede mirar la imagen de descarga y escribir el grado de la chatarra de acero. en la imagen.

Descripción de la función del software: consola de operación remota inteligente

Sobre la base de big data y tecnología de inteligencia artificial, se integran y analizan diversas fuentes de información en la planta siderúrgica para formar una plataforma de información visual que es fácil de operar y tiene funciones completas. A través de la gestión de roles y autoridad, la plataforma ayuda a mejorar la eficiencia laboral de los gerentes, ayuda a los trabajadores de primera línea a tomar decisiones científicas y reduce la carga operativa del personal de operación y mantenimiento.

(1) Monitoreo inteligente: con el apoyo de la tecnología de IA subyacente, se puede realizar el monitoreo de la operación de enlaces clave

imagen

Inspección y juicio inteligentes: basándose en los datos de las imágenes durante el proceso de descarga, se realiza un análisis inteligente a través de algoritmos de IA para lograr un análisis en tiempo real del peso de los residuos y una alerta temprana del estado de descarga;
Análisis inteligente del comportamiento laboral: en escenarios donde hay personas trabajando, el algoritmo de IA debe realizar un análisis inteligente del comportamiento laboral y el uso de equipo de protección, y avisa sobre cualquier operación ilegal encontrada; (opcional)
Combinación gratuita de pantallas de monitoreo: las pantallas de monitoreo en la lista de cámaras se pueden recuperar libremente según las necesidades comerciales;

(2) Consola: los datos in situ se actualizan en tiempo real para ayudar a las empresas a comprender la dinámica operativa

imagen

Gestión inteligente de procesos: utilice cámaras y algoritmos de reconocimiento para integrar datos de enlaces clave como revisión de entrada, pesaje, descarga, liquidación y salida, etc., para lograr una gestión unificada de todo el proceso de datos comerciales dentro del sitio;
Estadísticas en tiempo real del negocio en el sitio: integre automáticamente información comercial clave, como la cantidad de vehículos que ingresan al día, el peso de la chatarra, información de alarmas, etc., y realice actualizaciones dinámicas en tiempo real;
Rendimiento del algoritmo de detección inteligente: muestra intuitivamente los datos y el rendimiento del modelo de los algoritmos de detección inteligentes utilizados en enlaces comerciales clave;
Descripción general del estado de la cámara: muestra la información y el estado de monitoreo de todas las cámaras en la fábrica;

(3) Panel de datos

imagen

Panel de datos: visualice datos comerciales históricos para ayudar a las empresas a analizar el estado operativo
Volumen total de pedidos, distribución y tendencias: análisis estadístico personalizado del volumen histórico de pedidos de la empresa, incluido el stock incremental año tras año, etc.;
Rendimiento histórico de los algoritmos de detección inteligentes: visualice el rendimiento histórico de los modelos de algoritmos de detección inteligentes y rastree fácilmente los registros de predicción;
Descarga de estadísticas de mensajes de alarma: visualice la información de alarma de negocios clave y comprenda la calidad del pedido;
Distribución y tendencias de los tipos de acero reciclado: visualice la relación de peso y las tendencias de varios tipos de acero para comprender intuitivamente el estado del negocio;
Análisis inteligente: admite etiquetado, capacitación y actualizaciones de servicios, lo que permite la iteración continua de algoritmos
Anotación de datos: utilice una herramienta de anotación de imágenes personalizada para anotar los datos de la imagen de la escena de descarga, y el sistema convertirá automáticamente los archivos de imágenes anotados en una estructura de entrada de modelo estándar; (opcional)
Entrenamiento de modelos: el sistema tiene un módulo AutoML incorporado. Los usuarios solo necesitan seleccionar el conjunto de datos y el tipo de modelo para entrenar rápidamente un nuevo modelo y probar los resultados; (opcional)
Actualización de servicios: resume automáticamente todos los servicios en línea y no en línea y el rendimiento de su modelo, y actualiza fácilmente los servicios; (opcional)

Aplicación movil

Para lograr los objetivos de informatización e inteligencia de todo el proceso operativo de la fábrica, la aplicación "Unloading Intelligent Assistant" ayuda a los inspectores de calidad en el sitio de descarga a completar múltiples tareas, como el posicionamiento del vehículo en el área de descarga, llamadas de servicio predictivas y alarmas de descarga. .

imagen

Configuración de hardware

Diagrama de hardware
El diagrama de diseño de hardware es el siguiente:

Se instala una cámara de red de alta definición encima de cada espacio de estacionamiento para proporcionar una vista frontal sin obstáculos del automóvil y se puede instalar en las paredes a ambos lados del taller sin interferir con las ventosas de conducción.

imagen

Lista de hardware

La lista de configuración de hardware es la siguiente:

imagen

Diagrama de topología de red-solución de red

Cada servidor considera el equilibrio de carga y el respaldo mutuo, lo que no solo garantiza que el sistema se pueda actualizar sin problemas, sino que también garantiza que si un solo servidor falla, no causará un error fatal en el sistema y detendrá el servicio; el enlace de comunicación entre El centro y el centro de información móvil utilizan un método de entrada de línea dedicada móvil para garantizar la seguridad, estabilidad y velocidad de la comunicación del equipo de recopilación de datos.

Cada host del sistema está conectado mediante enlaces Gigabit, lo que garantiza que la red interna aún pueda satisfacer las necesidades de transmisión de datos entre hosts después de que se expanda el sistema.

imagen

Otros requisitos relacionados con la red

El personal de red de la fábrica puede ayudar a abrir el puerto de la red pública, lo que permite al personal de implementación de nuestra empresa controlar de forma remota el ángulo y otros parámetros de la cámara en el sitio.

La aplicación de este producto se puede extender a educación, atención médica, finanzas, fabricación de precisión y otras industrias. Compartiré los escenarios de aplicación de estas industrias más adelante, cuando tenga tiempo. Si tiene alguna necesidad, comuníquese con el autor en el backend. de la cuenta oficial CTO Plus. La información de contacto es (Igual que WeChat): 15801030767

Para obtener más puntos técnicos relacionados con Go, preste atención a la cuenta pública: publicaciones posteriores de CTO Plus . Si tiene alguna pregunta, deje un mensaje en segundo plano para comunicarse.

imagen

Lectura recomendada :

Blog blog_CSDN de SteveRocket: Python avanzado, Django avanzado, C avanzado. El blogger Steve Rocket es bueno en Python avanzado, Django avanzado, C avanzado y otros aspectos del conocimiento. https://blog.csdn.net/zhouruifu2015 /

Más información· Busque [CTO Plus] en la cuenta pública de WeChat y sígalo para obtener más información. Aprendamos y comuniquemos juntos.

Para obtener una descripción de la cuenta pública, visite el siguiente enlace

Acerca de Articulate "Sé un portador de conocimiento y tecnología. Sé un entusiasta del aprendizaje permanente. Sé un círculo técnico con profundidad y amplitud". Siempre he querido desarrollar habilidades en el campo profesional https://mp.weixin.qq.com/ s/0yqGBPbOI6QxHqK17WxU8Q

Lectura recomendada: