Sistema inteligente de detecção de defeitos baseado em reconhecimento de imagem por IA, aplicação na indústria siderúrgica - solução técnica

Índice

Visão geral

Introdução ao Programa Inteligente de Inspeção de Sucata

Vantagens e valor do sistema de inspeção inteligente de sucata de aço

Processo de inspeção manual de sucata

Padrões de inspeção de sucata de aço

Resultados da inspeção de sucata de aço

Solução Inteligente de Inspeção e Julgamento - Algoritmo Inteligente de Inspeção e Julgamento de Sucata

Algoritmo 1: Algoritmo de identificação de grau de sucata

Algoritmo 2: Algoritmo de identificação de localização para materiais não qualificados

Algoritmo 3: Algoritmo de identificação de tipo para materiais não qualificados

Algoritmo 4: Algoritmo de saída de peso de material não qualificado

Algoritmo 5: Algoritmo de identificação de peças seladas

Algoritmo 6: Algoritmo de identificação de peças manchadas de óleo

Algoritmo suplementar

Processo de algoritmo de detecção inteligente de esquema de detecção inteligente

Coleta de dados de imagens de sucata

Anotação de dados de imagem de sucata

Descrição da função de software - console de operação remota inteligente

Aplicativo móvel

Configuração de hardware

Diagrama de hardware O diagrama de layout de hardware é o seguinte:

Lista de hardware

Diagrama de topologia de rede-solução de rede

Outros requisitos relativos à rede

---

Observação: O compartilhamento subsequente de tecnologia, atualizações imediatas e informações técnicas e materiais técnicos de aprendizagem mais oportunos serão divulgadosna conta oficial CTO Plus . Siga a conta oficial: CTO Plus

Texto original: Sistema inteligente de detecção de defeitos baseado em reconhecimento de imagem por IA, aplicação na indústria siderúrgica - solução técnica (qq.com)

No artigo anterior da conta pública CTO Plus , "Sistema de aplicação de detecção de defeitos industriais baseado em reconhecimento de imagem de IA (GPU e FPGA)", forneci uma descrição aproximada dos cenários de aplicação de detecção de defeitos de meus produtos de reconhecimento de imagem de IA no campo industrial, incluindo cenários de aplicação e implementação.Casos e vantagens. Neste artigo, apresentarei ainda mais a solução técnica deste produto.

Se você tiver quaisquer requisitos de inscrição ou dúvidas, entre em contato com o autor deste artigo em segundo plano. Informações de contato (iguais ao WeChat): 15801030767

Visão geral

Atualmente, as empresas siderúrgicas nacionais e estrangeiras dependem principalmente da identificação manual e do julgamento no processo de inspeção de sucata.Devido à falta de
ferramentas de aceitação eficientes, precisas e convenientes, os inspetores de qualidade de sucata muitas vezes só podem contar com conhecimento e experiência profissional pessoal.

Existem muitos tipos de sucata de aço em usinas de sucata com subdivisões de classificação claras.A maneira mais importante de inspecionar a qualidade da sucata de aço é classificar
a sucata de aço e identificar impurezas e outros materiais não qualificados por meio de inspeção visual manual. Os julgamentos tradicionais de inspeção de qualidade são altamente subjetivos, têm muitas objeções aos julgamentos e têm gestão e rastreabilidade sistemáticas insuficientes.

O sistema inteligente de inspeção de sucata realizará coleta automatizada de dados e gerenciamento preciso de dados, e aplicará
tecnologia de reconhecimento de imagem profunda para auxiliar na classificação manual de sucata e identificação de materiais não qualificados.Ele pode identificar as proporções de vários tipos de sucata e fornecer preços e peso de impurezas, além de fornecer alarmes para vedações de óleo.

De acordo com a situação real atual, o projeto pode ser verificado primeiro em 2 vagas de estacionamento na oficina siderúrgica, e depois
promovido ou transferido para outras vagas de estacionamento após passar pela inspeção de aceitação.

Introdução ao Programa Inteligente de Inspeção de Sucata

• Identifique automaticamente a carroceria do veículo e bloqueie diretamente o veículo de descarga por meio do algoritmo de detecção de alvo para iniciar a detecção.

• O algoritmo satisfaz uma variedade de locais e cenários de descarga. Incluindo: ventosa de guindaste de aviação, máquina de agarrar de aço, descarga e nivelamento de caminhão de descarga direta, cenas de transporte em doca, etc.

• Identifique com precisão o tipo de sucata de aço e pesos diversos por meio de múltiplas dimensões (espessura, formato, tamanho, cor, antigo e novo).

• Ele pode identificar uma variedade de tipos de materiais não qualificados: impurezas, peças seladas, peças oleosas, peças muito longas, materiais defeituosos, ferro-gusa mecânico, etc., e emitir alarmes em tempo real.

• Vários vídeos de vigilância podem ser alternados em tempo real e a revisão histórica pode ser fornecida. As informações do sistema são rastreáveis ​​e verificáveis.

• Suporta múltiplas posições de descarga trabalhando ao mesmo tempo, ou seja, vários usuários trabalhando ao mesmo tempo.

Vantagens e valor do sistema de inspeção inteligente de sucata de aço

• Evite perdas causadas por erros de inspeção manual. Os resultados da inspeção manual são inevitavelmente instáveis ​​e, se forem inferiores ao valor de referência de avaliação, aumentarão o custo da siderurgia.

• O sistema pode realizar inspeção 7*24 e pode receber veículos sucateados ao longo do dia, melhorando efetivamente a eficiência do trabalho.

• Para melhorar a abertura e a justiça, o sistema possui armazenamento de vídeos e imagens de alta definição, que podem ser auditados e rastreados para obter uma gestão transparente.

• Evitando efetivamente riscos de segurança, os inspetores de qualidade podem ficar longe do local de descarga e trabalhar remotamente com o sistema.

• Melhorar efetivamente a precisão da identificação de materiais não qualificados. O algoritmo do sistema pode identificar com precisão materiais não qualificados, como peças seladas e peças manchadas de óleo, e eliminar estritamente o perigo de materiais perigosos entrarem no forno.

• Reduz enormemente a intensidade de trabalho do pessoal relevante, ajuda a melhorar a satisfação dos funcionários e reduz a fuga de cérebros.

Processo de inspeção manual de sucata

Processo de inspeção:

1. O caminhão de sucata deve ser pesado e o tipo de material de sucata deve ser declarado primeiro.

2. Dirija até a posição designada de detecção de descarga e use a ventosa para descarregar. Geralmente, 1-2 inspetores farão o julgamento.

3. O inspetor observa os materiais descarregados do carro e da ventosa. Após descarregar a sucata de aço, o inspetor fornece diretamente os resultados da dedução de grau e impureza do carro com base na experiência e insere os resultados no terminal portátil e entra no sistema da empresa .
   Os caminhões vazios são pesados ​​e assentados.

Padrões de inspeção de sucata de aço

A fase de verificação do projeto implementa principalmente a detecção inteligente de materiais a granel, como sobras de materiais e resíduos pesados, conforme mostrado na Tabela 2-1. No futuro, teremos a oportunidade de experimentar juntos a detecção inteligente de materiais quebrados.

Resultados da inspeção de sucata de aço

Os resultados atuais da inspeção são inseridos pelo inspetor de qualidade no terminal portátil, incluindo placa, empresa, tipo, informações diversas e outras, e são automaticamente sincronizados com o sistema de computador da empresa.

Solução Inteligente de Inspeção e Julgamento - Algoritmo Inteligente de Inspeção e Julgamento de Sucata

Algoritmo 1: Algoritmo de identificação de grau de sucata

[Usando algoritmos como aprendizado profundo e detecção de alvo, a imagem é primeiro pré-processada, o histograma equalizado e a morfologia da imagem processada. Em seguida, verifique a qualidade da imagem. Finalmente, o resultado da produção de sucata de aço é obtido]

Algoritmo 2: Algoritmo de identificação de localização para materiais não qualificados

[Usando YOLO com Darknet, para cada imagem de entrada, a localização de impurezas e outros materiais não qualificados pode ser identificada e marcada. 】

Algoritmo 3: Algoritmo de identificação de tipo para materiais não qualificados

[Usando Fast R-CNN para procurar possíveis alvos de impurezas em fotos, delimitar o intervalo de localização e, em seguida, identificar a categoria à qual pertencem]

Algoritmo 4: Algoritmo de saída de peso de material não qualificado

[Selecione e treine uma rede neural convolucional profunda a partir de modelos de algoritmos como ResNet, Inception e VGG, usando fotos como entrada e usando diretamente materiais não qualificados, como impurezas como saída, para obter estimativa de conteúdo de ponta a ponta]

Algoritmo 5: Algoritmo de identificação de peças seladas

【Use algoritmos como equalização de histograma e correção gama para otimizar efeitos de imagem e destacar alvos fotográficos. Use suavização para reduzir o ruído na imagem, use aprimoramento de bordas para destacar o contorno da vedação e dê um aviso antecipado. 】

Algoritmo 6: Algoritmo de identificação de peças manchadas de óleo

[Use algoritmos como equalização de histograma e correção gama para otimizar os efeitos de imagem e destacar os recursos do alvo da foto. Use suavização para reduzir o ruído nas fotos, use aprimoramento de bordas para destacar o contorno de partes oleosas e avise com antecedência. 】

Algoritmo suplementar

【Aprimoramento de dados】

Tendo em conta a pequena quantidade de dados na fase inicial de lançamento do sistema, métodos de aprimoramento de dados podem ser usados ​​para expandir o conjunto de dados de treinamento. Execute uma ou mais operações nas imagens coletadas: rotação aleatória, corte aleatório, pontilhamento de cores, perturbação de ruído, inversão horizontal e inversão vertical para aumentar artificialmente o tamanho do conjunto de treinamento, enriquecer a diversidade de dados e evitar overfitting.

【Transferir aprendizagem】

Use conjuntos de dados públicos, como ImageNet, para pré-treinar modelos de redes neurais, como YOLO, e transferir parâmetros e conhecimento com base neles, obtendo assim suporte para tarefas de detecção de sucata com menos sobrecarga de recursos de computação e tempo de treinamento.

Processo de algoritmo de detecção inteligente
 

Processo de treinamento e inferência:

Coleta de dados de imagens de sucata

1. Configure câmeras em vários pontos da oficina de sucata para coletar dados de imagens de sucata durante o processo de descarga. As imagens coletadas têm dois propósitos: extrair algumas amostras para anotação de imagens e usá-las para treinamento de modelo de algoritmo; durante o processo de produção real, elas são usadas como fontes de dados e passadas para o sistema de raciocínio de dados de algoritmo de detecção inteligente de sucata de aço para raciocínio de dados.

2. As câmeras são usadas no local para monitoramento completo 7x24 horas e são salvas na forma de vídeos e capturas de tela são usadas para selecionar e coletar fotos.

3. Princípio da captura de tela: Cada veículo é descarregado. Depois que o veículo é estacionado, a ventosa sugará o material de aço várias vezes. Em princípio, a imagem inicial após o estacionamento do veículo é selecionada primeiro e a imagem após cada ação de descarga ser concluída. Uma foto. Ou seja, selecione a imagem antes da primeira ação de descarregamento e a imagem após cada ação.

4. Ajuste do ângulo da câmera: O descarregamento é relativamente fixo. Para obter imagens de alta qualidade, não é necessário ajustar o ângulo, a distância focal e outras configurações da câmera. Apenas certifique-se de que a câmera possa capturar todo o processo de descarregamento do veículo.

5. Conteúdo da filmagem: Tomando como conteúdo principal o caminhão que está sendo descarregado, é possível ver a maior parte da frente do caminhão, a maior parte das rodas e o compartimento completo.

Anotação de dados de imagem de sucata

Os inspetores e especialistas de qualidade da usina de sucata anotarão e orientarão os dados de imagem coletados.Durante esse processo, nossa empresa enviará engenheiros de anotação profissionais para auxiliar no local, e o horário no local será organizado de acordo com a situação específica. A anotação de dados é um pré-requisito importante para a implementação do algoritmo e requer a experiência e orientação de inspetores de qualidade e especialistas em usinas de sucata de aço.

Um exemplo de anotação: o inspetor de qualidade pode observar a imagem de descarga, circular o limite e a localização do material não qualificado e escrever o valor visual do peso; o inspetor de qualidade pode observar a imagem de descarga e escrever o grau da sucata de aço na foto.

Descrição da função de software - console de operação remota inteligente

Com base em tecnologia de big data e inteligência artificial, diversas fontes de informação da siderúrgica são integradas e analisadas para formar uma plataforma de informação visual, fácil de operar e com funções completas. Através da gestão de funções e autoridades, a plataforma ajuda a melhorar a eficiência do trabalho dos gestores, auxilia os trabalhadores da linha de frente na tomada de decisões científicas e reduz a carga operacional do pessoal de operação e manutenção.

(1) Monitoramento inteligente: Com o apoio da tecnologia de IA subjacente, o monitoramento da operação do link principal pode ser realizado

1. Inspeção e julgamento inteligentes: Com base nos dados de imagem durante o processo de descarga, a análise inteligente é realizada por meio de algoritmos de IA para obter análise em tempo real do peso dos resíduos e alerta antecipado do status de descarga;

2. Análise inteligente do comportamento no trabalho: Em cenários onde as pessoas estão trabalhando, o algoritmo de IA é chamado para realizar análises inteligentes do comportamento no trabalho e do uso de equipamentos de proteção, e avisa sobre quaisquer operações ilegais encontradas; (opcional)

3. Combinação gratuita de telas de monitoramento: As telas de monitoramento na lista de câmeras podem ser recuperadas livremente de acordo com as necessidades do negócio;

(2) Console: os dados locais são atualizados em tempo real para ajudar as empresas a compreender a dinâmica operacional

• Gerenciamento inteligente de processos: Use câmeras e algoritmos de reconhecimento para integrar dados de links importantes, como revisão de entrada, pesagem, descarga, liquidação e saída, etc., para obter gerenciamento unificado de todo o processo de dados de negócios dentro do local;

• Estatísticas em tempo real de negócios no local: Integre automaticamente informações comerciais importantes, como número de veículos que entram no dia, peso de sucata, informações de alarme, etc., e execute atualizações dinâmicas em tempo real;

• Desempenho do algoritmo de detecção inteligente: exibe intuitivamente os dados e o desempenho do modelo dos algoritmos de detecção inteligentes usados ​​nos principais links de negócios;

• Visão geral do status da câmera: exibe as informações e o status de monitoramento de todas as câmeras da fábrica;

(3) Painel de dados

1. Painel de dados: visualize dados históricos de negócios para ajudar as empresas a analisar o status operacional

2. Volume total de pedidos, distribuição e tendências: Análise estatística personalizada do volume histórico de pedidos da empresa, incluindo ano a ano, estoque incremental, etc.;

3. Desempenho histórico de algoritmos de detecção inteligentes: visualize o desempenho histórico de modelos de algoritmos de detecção inteligentes e rastreie facilmente registros de previsão;

4. Descarga de estatísticas de mensagens de alarme: visualize as informações de alarme dos principais negócios e compreenda a qualidade do pedido;

5. Distribuição e tendências dos tipos de aço reciclado: Visualize a relação de peso e as tendências dos vários tipos de aço para compreender intuitivamente a situação do negócio;

6. Análise inteligente: suporta rotulagem, treinamento e atualizações de serviços, permitindo iteração contínua de algoritmos

7. Anotação de dados: Use uma ferramenta de anotação de imagem personalizada para anotar os dados de imagem da cena de descarga, e o sistema converte automaticamente os arquivos de imagem anotados em uma estrutura de entrada de modelo padrão; (opcional)

8. Treinamento de modelo: o sistema possui um módulo AutoML integrado. Os usuários só precisam selecionar o conjunto de dados e o tipo de modelo para treinar rapidamente um novo modelo e testar os resultados; (opcional)

9. Atualização de serviço: Resuma automaticamente todos os serviços on-line e não on-line e seu desempenho de modelo e atualize facilmente os serviços; (opcional)

Aplicativo móvel

Para atingir os objetivos de informatização e inteligência de todo o processo de operação da fábrica, o APP “Assistente Inteligente de Descarga” auxilia os inspetores de qualidade no local de descarga a realizar diversas tarefas, como posicionamento do veículo na área de descarga, chamadas de serviço preditivas e alarmes de descarga. .

Configuração de hardware

Diagrama de hardware
O diagrama de layout de hardware é o seguinte:

Uma câmera de rede de alta definição é instalada acima de cada vaga de estacionamento para proporcionar uma visão frontal desobstruída do carro, podendo ser instalada nas paredes de ambos os lados da oficina sem interferir nas ventosas de acionamento.

Lista de hardware

A lista de configuração de hardware é a seguinte:

Diagrama de topologia de rede-solução de rede

Cada servidor considera o balanceamento de carga e o backup mútuo, o que não apenas garante que o sistema possa ser atualizado sem problemas, mas também garante que se um único servidor falhar, não causará um erro fatal no sistema e interromperá o serviço; o link de comunicação entre o centro e o centro de informações móvel utilizam um método de entrada de linha móvel dedicada para garantir a segurança, estabilidade e velocidade de comunicação do equipamento de coleta de dados.

Cada host do sistema é conectado por links Gigabit, o que garante que a rede interna ainda possa atender às necessidades de transmissão de dados entre os hosts após a expansão do sistema.

Outros requisitos relativos à rede

A equipe da rede da fábrica pode auxiliar na abertura da porta da rede pública, o que permite ao pessoal de implementação da nossa empresa controlar remotamente o ângulo e outros parâmetros da câmera no local.

A aplicação deste produto pode ser estendida à educação, assistência médica, finanças, fabricação de precisão e outras indústrias. Compartilharei os cenários de aplicação dessas indústrias mais tarde, quando tiver tempo. Se você tiver alguma necessidade, entre em contato com o autor no backend da conta oficial CTO Plus. As informações de contato são (iguais ao WeChat): 15801030767

Para mais pontos técnicos relacionados ao Go, preste atenção na conta pública: postagens subsequentes do CTO Plus . Se você tiver alguma dúvida, deixe uma mensagem em segundo plano para comunicação.
 

Leitura recomendada :

• Sistema de aplicação de detecção de defeitos industriais (GPU e FPGA) baseado em reconhecimento de imagem AI

• Prática de aplicação de FPGA na detecção de defeitos industriais

• Introdução a alguns métodos, princípios e vantagens e desvantagens de algoritmos de processamento de imagem FPGA

Blog_CSDN de SteveRocket - Python avançado, Django avançado, C avançado blogueiro Steve Rocket é bom em Python avançado, Django avançado, C avançado e outros aspectos do conhecimento https://blog.csdn.net/zhouruifu2015 /

---

Mais informações· Pesquise [CTO Plus] na conta pública do WeChat e siga-o para obter mais informações. Vamos aprender e nos comunicar juntos.

Para uma descrição da conta pública, visite o seguinte link

---

​

Sobre Articulate "Seja um portador de conhecimento e tecnologia. Seja um entusiasta da aprendizagem ao longo da vida. Seja um círculo técnico com profundidade e amplitude." Sempre quis desenvolver competências na área profissional https://mp.weixin.qq. com / s/0yqGBPbOI6QxHqK17WxU8Q

Leitura recomendada:

• Prática de aplicação de FPGA na detecção de defeitos industriais

• Noções básicas de Verilog para design de FPGA: variáveis ​​​​globais Verilog e definições de variáveis ​​​​locais

• Noções básicas de Verilog de design de FPGA: Por que clk em Verilog usa posedge em vez de negedge?

• Alguns conceitos básicos de design de FPGA que os iniciantes devem entender (1)

• Resumo do trabalho: o resumo mais abrangente de 103 palavras-chave Verilog em toda a rede (Parte 1)

• Resumo do trabalho: o resumo mais abrangente de 103 palavras-chave Verilog em toda a rede (Parte 2 )

• Tendências de desenvolvimento de FPGA e análise de aplicações na era 5G

• Prática de desenvolvimento de aplicativos de FPGA combinada com chatgpt

• FPGA | Guia de fluxo de projeto de FPGA v2.0

• Especificações de projeto | Resuma as especificações de projeto de peças DDR3 e FPGA durante o processo de desenvolvimento

• Glossário de terminologia | Resume a terminologia profissional relacionada ao FPGA durante o processo de desenvolvimento

• Use IA para me ajudar a escrever um artigo sobre FPGA e recomendar os projetos de código aberto FPGA mais populares