O aço é o material básico para o desenvolvimento da tecnologia industrial moderna.Com a melhoria da capacidade de fabricação industrial, o aço é amplamente utilizado na indústria da construção, engenharia oceânica e engenharia aeroespacial, e requisitos mais rigorosos são impostos ao aço. No entanto, devido às limitações do processo de produção, existem inevitavelmente defeitos superficiais de várias profundidades no processo de produção do aço, como arranhões, trincas, superfícies côncavas, etc. Esses defeitos não afetarão apenas a aparência do produto, mas também levarão a uma diminuição na resistência ao desgaste e tenacidade do aço e encurtarão a vida útil do aço. Portanto, analisar e dominar como melhorar a qualidade da superfície do aço é um problema importante que os fabricantes modernos de aço precisam resolver com urgência.
Com base no algoritmo de detecção de alvo Faster R-CNN, este artigo propõe um método de detecção de defeitos de superfície de aço baseado em visão de máquina.
algoritmo básico
1.1 Algoritmo R-CNN mais rápido
O algoritmo Faster R-CNN é um algoritmo de detecção de alvo ponta-a-ponta.A estrutura da rede é mostrada na Figura 1, que é dividida em quatro partes, como segue.
(1) Rede de backbone
A rede de backbone do algoritmo Faster R-CNN é geralmente VGG-16, ResNet e outras redes, que são responsáveis por extrair recursos de imagem de entrada. Consultando as referências, este trabalho escolhe a rede VGG-16 como rede backbone, cuja estrutura é mostrada na Figura 2.
(2) Rede RPN
A rede RPN é responsável por extrair quadros candidatos, e seu princípio básico é mostrado na Figura 3. Quando a imagem do modelo de entrada é extraída por meio da rede de backbone e, em seguida, inserida no RPN, o RPN executa uma janela deslizante no mapa de recursos para gerar um quadro. A parte com uma pontuação alta no desenho do quadro é usada como a área recomendada, que é o quadro candidato.
(3) Combinação de ROI
O pool de ROI é responsável por dimensionar o mapa de recursos para uma determinada proporção, de modo que o mapa de recursos atenda a um tamanho predefinido. Atualmente, o método de dimensionamento comumente usado é primeiro dividir a região proposta em n partes iguais do mesmo tamanho, depois encontrar o valor máximo de cada parte e, finalmente, copiar o valor máximo e a saída [6].
(4) Rede de detecção R-CNN
A rede R-CNN é responsável por classificar e identificar categorias de amostras de quadro candidatas. Primeiro, defina um limite a de acordo com a situação real, depois calcule a taxa de interseção sobre união (IoU) dos quadros-alvo reais e previstos e, finalmente, julgue o tamanho de IoU e a para determinar a categoria de amostra do quadro candidato . Quando IoU>a, é julgado como uma amostra positiva; caso contrário, é uma amostra negativa. O algoritmo Faster R-CNN tem as características de forte robustez e alta precisão de detecção, mas é fácil perder informações estruturais no estágio de extração de recursos. Ao mesmo tempo, a classificação e precisão de posicionamento da caixa de proposta de região no R- O processo de detecção da rede CNN precisa ser melhorado. Portanto, a fim de melhorar ainda mais a precisão da detecção da rede, este artigo melhora a rede de backbone e a rede de detecção [7-8].
1.2 Melhoria mais rápida da rede R-CNN
1.2.1 Rede de backbone
A fim de resolver o problema de que a rede Faster R-CNN é fácil de perder informações estruturais, este artigo realiza a melhoria da rede Faster RCNN ao fundir os recursos da rede backbone. Primeiro, o conv3-256-1 e o conv3-256-3 do Bloco3 da rede VGG-16 são fundidos, e o conv3-512-1 e o conv3-512-3 do Bloco5 da rede VGG-16 são fundidos. Em seguida, fundir os recursos fundidos novamente. Depois de definir cada bloco, é o agrupamento máximo e a camada totalmente conectada permanece inalterada. Por meio das operações acima, a rede de backbone pode reter informações estruturais tanto quanto possível. A comparação da estrutura da rede de backbone Block3 e Block5 antes e depois da melhoria é mostrada na Tabela 1.
1.2.2 Rede de detecção R-CNN
A rede R-CNN pode tornar a caixa de proposta de região mais precisa aumentando o limite IoU, melhorando assim a precisão da detecção do modelo, mas aumentar excessivamente o limite IoU pode facilmente levar a um ajuste insuficiente do modelo. A fim de resolver este problema e melhorar a precisão da detecção do modelo, este artigo melhora o modelo ao colocar em cascata duas redes de detecção RCNN com diferentes limiares de IoU. Defina os limites IoU das duas redes de detecção R-CNN para 0,5 e 0,6, respectivamente, e divida as amostras positivas e negativas de acordo com seus limites IoU para treinar e corrigir a caixa de proposta de região, para que uma caixa delimitadora mais precisa possa ser obtida e o efeito de detecção pode ser melhorado [10-12].
2 Detecção de defeitos na superfície do aço com base na visão de máquina
Com base na ideia de melhoria da rede Faster R-CNN mencionada acima, este trabalho projetará a detecção de defeitos na superfície do aço com base na visão de máquina, conforme mostrado na Figura 4. Primeiro, o VGG-16 com recursos fundidos é usado para extrair a imagem da superfície do aço do modelo de entrada para reduzir a perda de informações estruturais da imagem da superfície do aço. Em segundo lugar, a rede RPN é usada para extrair e gerar o quadro candidato do mapa de características de defeitos do aço. Em seguida, o pool de ROI é usado para dimensionar o mapa de recursos de defeitos da superfície do aço. Finalmente, a rede de detecção R-CNN com limiares IoU de 0,5 e 0,6 foi usada para classificar e identificar os mapas de recursos, e os resultados da detecção de defeitos de superfície de aço foram obtidos.
3 Experimento de simulação
3.1 Ambiente Experimental
Este experimento é realizado no sistema operacional Linux Centos7 e testado com base no framework MXNet. A CPU do ambiente do sistema é E5-2620 a 2,10 GHz, a GPU é NVIDIA1080, a memória é de 64 GB, o compilador é Pycharm Community 1.3 e o interpretador é Python 3.7.
3.2 Fonte de dados e pré-processamento
Os dados experimentais vêm do conjunto de dados NEU-CLS, um total de 1800 imagens de defeitos de superfície de aço, conforme mostrado na Tabela 2.
3.3 Indicadores de avaliação
Neste experimento, a precisão média (AP) é selecionada como índice para avaliar o desempenho do modelo, e seu método de cálculo é mostrado na fórmula (1). O AP médio (mAP) é selecionado para avaliar o desempenho geral, e seu método de cálculo é mostrado na fórmula (4). Escolha a taxa de quadros por segundo (quadro/s) para avaliar a eficiência de execução do modelo.
Na fórmula (1) ~ (3): TP é um exemplo verdadeiro; FP é um exemplo falso positivo; FN é um exemplo falso negativo.
Na fórmula (4): Nc é o número de categorias de defeitos detectados.
3.4 Resultados e Análise
3.4.1 Validação do Modelo
(1) Verificação da rede de backbone
A fim de verificar a eficácia do modelo proposto para melhorar a rede backbone, o experimento compara o desempenho do modelo de diferentes redes backbone como extração de características, e os resultados são apresentados na Tabela 3. Pode-se ver na tabela que, em comparação com o ResNet-50, a precisão média de detecção da rede de backbone do VGG-16 como modelo é maior, atingindo 84,06%, o que representa um aumento de 2,3%; a velocidade de detecção é aumentada de 6,2 quadros/s para 12,23 quadros/s, quase o dobro. Isso mostra que o modelo proposto usa VGG-16 como rede de backbone, o que pode melhorar o desempenho de detecção do modelo, e a melhoria do modelo é eficaz.
(2) Verificação da estratégia de fusão
Para verificar a eficácia da fusão de recursos do modelo, diferentes estratégias de fusão foram usadas para construir o modelo no experimento, e a precisão média de detecção e a velocidade de detecção foram comparadas. Os resultados são mostrados na Tabela 4. Pode-se ver na tabela que a precisão média de detecção da estratégia B é a mais alta, chegando a 95,92%, e a velocidade de detecção é a mais rápida, chegando a 22,45 quadros/s, indicando que a estratégia de fusão pode alcançar o melhor efeito de detecção, que ou seja, a estratégia de fusão de combinar Bloco 3 e Bloco 5 é a melhor. A melhoria do modelo proposto é eficaz.
(3) Verificação da rede de detecção
A fim de verificar o efeito cascata do modelo proposto em diferentes redes de detecção de limite de IoU, o experimento compara o desempenho do modelo em diferentes limites de IoU em cascata, e os resultados são mostrados na Tabela 5. Pode-se observar na tabela que o cascateamento de uma rede de detecção com IoU=0,6 pode melhorar a precisão média de detecção da rede, atingindo 98,29%, um aumento de 2,37%. Comparado com a cascata de uma rede de detecção IoU=0,7, tem certas vantagens. Isso mostra que o modelo proposto tem certa eficácia e é eficaz para a melhoria da rede de detecção.
Os resultados experimentais da ablação do modelo proposto são mostrados na Tabela 6. Pode ser visto na tabela que, em comparação com antes da fusão de recursos, o valor mAP do modelo após a fusão de recursos aumentou 11,86%; em comparação com antes da rede em cascata, o valor mAP do modelo após a rede em cascata aumentou 2,37%; em comparação com o modelo antes da melhoria, a precisão de detecção do modelo proposto aumentou 14,23%, chegando a 98,29%. A razão é que o mapa de recursos gerado após a fusão de recursos contém informações de alto e baixo nível, melhorando assim a precisão da detecção do modelo, e a rede em cascata pode melhorar o IoU do modelo e melhorar a precisão da detecção do modelo [13-15]. Isso mostra que a fusão de recursos e a rede em cascata podem melhorar significativamente a precisão da detecção do modelo, ou seja, o modelo proposto tem certa eficácia.
3.4.2 Comparação de modelos
Para verificar ainda mais a eficácia do modelo proposto, o experimento compara o efeito de detecção do modelo proposto e do modelo Faster R-CNN no conjunto de dados experimental antes e depois da fusão de recursos, e os resultados são mostrados na Figura 5. Pode-se ver na figura que, em comparação com a melhoria anterior, a precisão da previsão do modelo proposto e o modelo FFaster R-CNN para vários defeitos de superfície de aço foram significativamente melhorados, indicando que a fusão de recursos pode efetivamente melhorar a precisão do Faster Modelo R-CNN para defeitos de superfície de aço. precisão de detecção. Comparado com o modelo FFaster R-CNN, o modelo proposto melhorou a precisão de detecção da maioria dos tipos de defeitos de superfície de aço em graus variados, indicando que a rede de detecção em cascata pode melhorar a precisão de detecção do modelo até certo ponto. Isso mostra que o uso da fusão de características e da rede de detecção em cascata é eficaz para melhorar a precisão da detecção do modelo Faster RCNN, ou seja, o modelo proposto é eficaz.
Para verificar ainda mais a superioridade do modelo proposto, o experimento compara o efeito de detecção do modelo proposto com o modelo de detecção tradicional, e os resultados são mostrados na Tabela 7. Pode ser visto na tabela que comparado com outros modelos de detecção tradicionais, o modelo proposto tem algumas vantagens na precisão e velocidade de detecção de defeitos de superfície de aço, com uma precisão de detecção média de 98,29% e uma velocidade de detecção de 12,26 quadros/s, que pode atender aos requisitos de defeitos de superfície de aço. Necessidades de inspeção de defeitos de superfície.
3.4.3 Verificação da Instância
Para verificar o efeito real da aplicação do modelo proposto, o modelo proposto foi utilizado no experimento para detectar a superfície do aço com defeitos, e os resultados são mostrados na Figura 6. Pode-se ver na figura que o modelo proposto pode detectar diferentes tipos de defeitos de superfície de aço com mais precisão e tem forte desempenho de generalização.
4. Conclusão
Em resumo, o método proposto de detecção de defeitos de superfície de aço baseado em visão de máquina pode reduzir a perda de informações estruturais ao fundir os recursos do Bloco3 e Bloco5 da rede VGG-16 e melhorar ainda mais a precisão média de detecção e a velocidade de detecção do modelo. Atingindo 95,92% e 22,45 quadros/s; ao colocar em cascata uma rede de detecção com um limite de IoU de 0,6 após a rede de detecção, é possível classificar e localizar com mais precisão a caixa de sugestão de área de rede e fazer com que a precisão de detecção média do modelo alcance 98,29%. A precisão média de detecção e a velocidade de detecção do algoritmo Faster R-CNN aprimorado atingiram 84,06% e 12,23 quadros/s, respectivamente. Em comparação com os métodos de detecção tradicionais baseados nos algoritmos Faster R-CNN, SSD e YOLO-V3, a média do método proposto A detecção a precisão e a velocidade de detecção foram aprimoradas em vários graus, atingindo 98,29% e 12,26 quadros/s, com certa eficácia e superioridade, e podem atender às necessidades de diferentes tipos de detecção de defeitos de superfície de aço.
referências
um pouco.
Os alunos interessados podem baixar este documento do CNKI
Fonte do artigo: Lu Jialin, Cheng Ying※, Feng Sai, Li Mingzhe, Zhang Ninghua, Sun Jiayu. Detecção de defeitos na superfície do aço com base na visão de máquina[J]. Tecnologia de engenharia eletromecânica, 2022,51(07)
Shun não quer recomendar uma plataforma de visão de máquina que pode ser usada para detecção de defeitos de superfície de aço - Coovally, que executa códigos. Coovally é uma plataforma de visão de máquina que inclui um processo completo de modelagem de IA, gerenciamento de projeto de IA e gerenciamento de implantação de sistema de IA . O ciclo de desenvolvimento pode ser reduzido de meses para dias, e o desenvolvimento, integração, teste e verificação de soluções de visão de IA podem ser acelerados. Ajude a melhorar os recursos de desenvolvimento de software de pilha de IA da empresa, para que os sistemas avançados de IA possam ser popularizados a um custo menor e mais rápido. "Empacote seus próprios recursos de IA" para uso do pessoal de negócios, de modo a "ensinar as pessoas a pescar". Atualmente, a Coovally cobriu várias áreas de aplicação, incluindo inspeção de qualidade de fabricação, monitoramento de desastres geológicos, monitoramento de equipamentos da indústria de energia, diagnóstico médico de doenças especiais, transporte inteligente, parques inteligentes, etc.
Além do reconhecimento comum de objetos em queda, ele também pode detectar: detecção de chamas, reconhecimento de fumaça, reconhecimento de fumo, reconhecimento de capacete, detecção de pedestres, reconhecimento de intrusão de pessoal, detecção transfronteiriça, reconhecimento de escalada, detecção de saída de posto, detecção de vadiagem, multidão reconhecimento, detecção de densidade de multidão, reconhecimento de queda, reconhecimento de roupas antiepidêmicas, reconhecimento de máscara, reconhecimento de óculos, colocação de extintor de incêndio, reconhecimento de roupas não reflexivas, reconhecimento de defeitos de soldagem, detecção de defeitos em produtos de vidro, reconhecimento de empilhamento de detritos no corredor, reconhecimento de transbordamento de lixeiras, curso do rio Identificação de objetos flutuantes, identificação de ratos noturnos, identificação de movimento de pacotes, identificação de veículos elétricos entrando em elevadores, identificação de levar e colocar objetos, identificação de bagagem grande em escadas rolantes, detecção de gado, detecção de ninhos de pássaros, detecção de doenças de colheitas e pragas de insetos, identificação de intrusão de navios, identificação de caminhões de lixo, reconhecimento de pilha de solo nu, reconhecimento de veículo não motorizado, reconhecimento de violação de estacionamento de veículo, reconhecimento de capacete de veículo elétrico, reconhecimento de restrição de caminhão grande, reconhecimento de acúmulo de água, reconhecimento de tampa de bueiro, reconhecimento de danos na estrada, detecção de veículos de máquinas pesadas, reconhecimento de semáforos, etc. Mais de 100 tipos de cenários comuns de aplicação de IA.