Uma pesquisa sobre redução de ruído de imagem

1. Visão Geral

O ruído no sistema de imagem vem de vários aspectos, incluindo componentes eletrônicos, como ruído térmico causado por resistores; ruído de disparo e ruído de oscilação causado por dispositivos a vácuo; ruído de partículas e ruído gerado por transistores de junção; calor de canal gerado por transistores de efeito de campo. Ruído; ruído quântico leve e ruído de flutuação eletrônica do tubo fotoelétrico; vários ruídos causados ​​pelo tubo da câmera, etc. Vários circuitos eletrônicos e equipamentos compostos por esses componentes farão com que esses ruídos sofram diferentes transformações para formar circuitos locais e ruídos de equipamentos. Além disso, há ruído de imagem gerado por fenômenos ópticos (como ruído quântico de raios-X em imagens médicas).
Devido à presença de ruído, nossa compreensão de informações importantes nas imagens é prejudicada. Normalmente, o ruído da imagem é considerado como um processo estocástico multidimensional, de modo que a função de distribuição de probabilidade e a função de densidade de probabilidade podem ser selecionadas para descrever o ruído da imagem.

2. Modelo de ruído

O modelo de remoção de ruído da imagem pode ser modelado como:

Entre eles, y é a imagem de ruído observada, x é o valor real da imagem, n é o ruído da imagem e o processo de remoção de ruído da imagem é obter x a y.
Existem principalmente vários tipos de modelagem de ruído:
(1) Ruído gaussiano
O ruído gaussiano é o tipo de ruído mais comum e importante. Muitos algoritmos de remoção de ruído de imagem são projetados para reduzir o ruído gaussiano. A densidade de probabilidade A função se parece com isto:

(2) Ruído de Rayleigh
A função de densidade de probabilidade do ruído de Rayleigh é a seguinte:

A média e o método da densidade de probabilidade são respectivamente:

O ruído de Rayleigh é mais eficaz para modelagem de ruído em imagens cujo histograma de imagem é aproximadamente inclinado.
(3) Ruído gama
A função densidade de probabilidade do ruído gama é a seguinte:

onde a média e a variância são respectivamente: O

ruído gama será mais inclinado à distribuição do ruído Rayleigh
(4) Ruído exponencial
A função densidade de probabilidade do ruído exponencial é como seguinte:

A média e a variância de sua função de densidade de probabilidade são:

(5) Ruído de quantização
O ruído de quantização, também conhecido como ruído uniforme, é causado pela conversão de dados analógicos em dados digitais, por isso é inerente ao processo de quantização de amplitude e sua probabilidade A função de densidade é a seguinte:

(6) Ruído de sal e pimenta
O ruído de sal e pimenta, também conhecido como ruído de impulso e ruído de pico, aparece como pontos pretos e brancos distribuídos aleatoriamente na imagem, e sua função de densidade de probabilidade é mostrada na figura abaixo:

o ruído de sal e pimenta pode ser eliminado por um filtro de mediana.
(7) Ruído Poisson O
ruído Poisson também é chamado de ruído shot, sabemos que quanto mais fótons emitidos pela fonte de luz por segundo chegam ao CMOS, maior é o valor de cinza do pixel. No entanto, como pode haver alguns fatores entre a emissão da fonte de luz e a recepção do CMOS, um determinado fóton não é recebido pelo CMOS ou um determinado pixel emite muitos fótons em um período de tempo, o que leva a flutuações no valor de cinza. O ruído de Poisson é gerado e a equação é descrita como:

Esta fórmula descreve a probabilidade de um determinado pixel receber k fótons dentro do intervalo de tempo τ.
(8) Ruído Speckle
O ruído Speckle pode ser visto em sistemas de imagem coerentes (como radar, laser e acústica, etc.), e sua função de densidade de probabilidade é a seguinte: O ruído Speckle raramente

ocorre em sistemas de imagem óptica, portanto não será descrito aqui.
(9) Ruído periódico
Ruído periódico não pode ser descrito por uma função de densidade de probabilidade, nem pode ser eliminado no domínio do espaço.O método usual é eliminá-lo através de um filtro de parada de banda no domínio da frequência.

3. Redução de ruído de imagem

De acordo com o nível de ruído conhecido, a redução de ruído da imagem pode ser dividida em redução de ruído cega e redução de ruído não cega. Para redução de ruído não cega, o nível de ruído é considerado um parâmetro conhecido; para algoritmos de redução de ruído cega, o nível de ruído é desconhecido. Portanto, para o algoritmo de redução de ruído, o nível de ruído é um parâmetro muito importante.

(1) Filtragem média

(2) Filtragem mediana

(3) Filtragem gaussiana A filtragem gaussiana
(filtragem gaussiana) consiste em convoluir o valor do pixel de cada pixel de entrada na vizinhança da imagem com o kernel gaussiano e, finalmente, produzir o valor do pixel convolido, ou seja, a média ponderada dos pixels da vizinhança. Sua suavidade depende do desvio padrão da filtragem Gaussiana, e não da suavização simples.
A função de distribuição gaussiana bidimensional, também conhecida como distribuição normal, é definida da seguinte forma:

Dentre elas, σ^2 é a variância do filtro gaussiano, que controla a suavidade do filtro gaussiano.
A imagem filtrada da imagem u0(x,y) obtida passando o modelo Gaussiano f(x,y) é: Da

fórmula acima, pode-se ver que este é um filtro isotrópico . Comparado com a suavização simples da imagem , ele mantém os recursos globais dos gráficos foram bastante aprimorados. No entanto, quando o kernel gaussiano executa o mesmo processamento em todos os pixels da imagem, ele não consegue distinguir se as informações de pixel processadas são uma área comum suave ou uma área de borda e o resultado irá degradar e desfocar a borda original ou a borda da imagem.As informações de textura enfraquecem objetivamente a qualidade visual da imagem.

(4) Filtro bilateral (NLM)
O filtro bilateral (filtro bilateral) é composto de duas partes: fator de proximidade espacial e fator de similaridade de cinza, a fim de atingir o objetivo de redução de ruído e proteção de borda.
Na imagem, o peso do valor cinza j para i é:

onde I_i e I_j são o valor cinza do pixel; K_i é o fator de normalização; σ_1 ^{2 e σ_2} 2 são os fatores de atenuação da distância espacial e a distância cinza, respectivamente. De acordo com a forma da função de decaimento exponencial, pode-se ver que quanto maior a diferença entre dois valores de cinza, menor o peso e menor o grau de redução de ruído; pelo contrário, menor a diferença entre os dois valores de cinza valores, quanto maior o peso, o grau de redução de ruído também aumentará. Isso mostra que a filtragem bilateral pode reduzir o efeito de redução de ruído na parte da borda da imagem e proteger as informações da borda e melhorar o efeito de redução de ruído na área suave da imagem para filtrar melhor o ruído.
Na filtragem bilateral da imagem, o valor de cinza da imagem de saída depende da combinação ponderada do valor de cinza da vizinhança da imagem, que pode ser expressa como:

onde o kernel do domínio de definição (vizinhança espacial) é:

o kernel do domínio de valor (semelhança de cinza) Para:

o peso da filtragem bilateral é composto de vizinhança espacial e similaridade de cinza:

(5) Filtragem anisotrópica A Difusão
Anisotrópica (Anisotropic Diffusion) é um método de redução de ruído usando equações diferenciais parciais.O coeficiente de difusão que ele usa é determinado pelo valor do gradiente iterativo, em vez do valor do gradiente inicial da imagem ruidosa. O método de difusão anisotrópica mais típico é a equação de difusão anisotrópica não linear proposta por Perona e Malik, ou seja, o modelo PM, cuja expressão é: onde é a função de difusão (fator), e é também a diminuição monótona da função

gradiente .

A expressão clássica dada por Perona e Malik é a seguinte:

Da fórmula 3.10, pode-se ver que o coeficiente de difusão ao longo da direção do gradiente , na área plana, o valor do gradiente é baixo, o coeficiente de difusão é grande, a imagem é extremamente suave e o ruído é removido; enquanto a área de borda, o valor do gradiente alto, o coeficiente de difusão é pequeno e os detalhes são protegidos. Quando o valor do gradiente u é maior que K, o coeficiente de difusão torna-se gradualmente negativo e a imagem começa a se difundir na direção oposta, aumentando assim a informação de borda. A forma iterativa final do algoritmo Perona_Malik é a seguinte:

A fórmula acima são as quatro direções de gradiente do modelo PM no sul, leste e oeste. Durante o processo de difusão, o modelo PM não apenas mantém a borda da imagem, mas também remove efetivamente o ruído e possui uma forte capacidade de redução de ruído para áreas planas. Portanto, existe um método de redução de ruído de difusão anisotrópica. No entanto, a desvantagem do modelo PM é que ele não consegue encontrar o limite preciso do gradiente entre o ruído e a borda, o que afeta a estimativa do valor do gradiente e, finalmente, torna o ruído maior, afetando o efeito geral de redução do ruído. Na verdade, os modelos PM tradicionais têm um efeito de escada ao processar imagens.

(6) Modelo de variação total
O modelo de variação total é um modelo anisotrópico que se baseia no método de gradiente descendente para suavizar a imagem, esperando suavizar a imagem o máximo possível dentro da imagem (a diferença entre pixels adjacentes é pequena) e Unsmooth tanto quanto possível em torno das bordas da imagem (contornos da imagem). Se você deseja entender completamente o modelo variacional total, precisa conhecer conceitos como análise funcional, método de gradiente descendente e equação de Euler Lagrange EL.
Já em 1992, Rudin, Osher e Fatemi propuseram um clássico algoritmo de remoção de ruído de imagem de variação total, o texto original: Algoritmos de remoção de ruído baseados em variação total não linear.
Diferente dos algoritmos anteriores de remoção de ruído/filtragem, o algoritmo de TV é um algoritmo de restauração de imagem. Ele restaura uma imagem limpa de uma imagem com ruído. Estabelecendo um modelo de ruído e usando um algoritmo de otimização para resolver o módulo e por meio do processo de iteração contínua , tornando a imagem restaurada infinitamente próxima da imagem ideal após a redução de ruído. Muito semelhante ao aprendizado profundo, o modelo de ruído é análogo à função de perda. Por meio do treinamento contínuo, a lacuna entre os dois está ficando cada vez mais próxima. Também requer o método de descida do gradiente para obter rapidamente a solução ideal.

4 Estimativa do nível de ruído

O nível de ruído é um dos indicadores importantes nos métodos de redução de ruído, e uma estimativa de ruído incorreta afetará muito o efeito de um método de remoção de ruído. Atualmente, a maioria dos métodos de estimativa de ruído é baseada no ruído branco gaussiano para estimar o nível de ruído. Esses métodos de estimativa de ruído podem ser amplamente classificados em três categorias: métodos baseados em filtro, métodos baseados em análise de patch de imagem e métodos estatísticos baseados em prévias .

(1) Método baseado em filtro

O método de estimativa baseado em filtro primeiro usa um filtro passa-alto para processar a imagem de ruído e, em seguida, executa a estimativa de ruído com base na diferença entre a imagem processada e a imagem original.Um dos métodos clássicos de estimativa de ruído é o desvio médio absoluto. O princípio do método baseado em filtro é simples, mas também tem deficiências óbvias, especialmente para algumas imagens ricas em textura, as imagens de diferença geradas não são todas ruído, o que afeta muito a estimativa de ruído.

(2) Método baseado na análise de blocos de imagens

No método de estimativa de ruído baseado em blocos de imagem, o método convencional é primeiro dividir a imagem em um certo número de blocos de imagem de tamanho igual e, em seguida, selecionar esses blocos de imagem decomposta de acordo com certas regras e, finalmente, de acordo com os blocos de imagem selecionados para estimar o nível de ruído. Como a variação de intensidade dos blocos de imagem é causada principalmente pelo ruído, um método comum para selecionar blocos de imagem é encontrar blocos de imagem cujo desvio padrão do valor do pixel esteja próximo do desvio padrão mínimo ou encontrar blocos de imagem com texturas fracas. Em um algoritmo de estimativa de ruído que combina análise de componentes principais e blocos de imagem proposto pelo estudioso chinês Liu et al. em 2013, eles selecionaram blocos de imagem de baixo escalão sem componentes de alta frequência por meio de gradiente e dados estatísticos e, em seguida, usaram a análise de componentes principais para estimar o nível de ruído. Os métodos baseados em blocos de imagem são menos sensíveis a mudanças de ruído, mas como os resultados da seleção dos blocos de imagem flutuam com a imagem de entrada e o nível de ruído, esses métodos serão superestimados em níveis de ruído baixos, enquanto em níveis de ruído altos Frequentemente vezes o nível de ruído é subestimado.

(3) Método de estimativa de ruído baseado em estatísticas

O método de estimativa de ruído baseado em estatísticas utiliza as propriedades convencionais de imagens naturais, como a distribuição não gaussiana de imagens em cenas naturais, e a distribuição marginal de suas respostas passa-banda é altamente kurtótica. Estudiosos estrangeiros Stefano et al. propuseram três métodos em 2004. Um método de estimativa de ruído baseado em amostras de treinamento e estatísticas de imagens naturais. Zoran et al., propuseram um método para análise estatística do nitrogênio do gráfico após mudanças discretas na transformada de cosseno e apontaram que a mudança no valor da curtose foi causada por ruído. Depois disso, o estudioso chinês Dong combinou o recurso de invariância de escala com a estacionariedade por partes da própria imagem natural e propôs um método de estimativa de ruído em 2017. Gupta, um estudioso da Universidade do Texas, nos Estados Unidos, explorou ainda mais as propriedades invariantes de escala e propôs um método de estimativa de ruído com base em estatísticas de cenas naturais em 2018.

Em comparação com os métodos tradicionais, as redes neurais têm recursos de ajuste de dados mais poderosos. Guo et al., um estudioso do Harbin Institute of Technology, usou uma rede neural composta por 5 camadas de camadas convolucionais de 32 canais para estimar o nível de ruído da imagem, o que levou a rede de redução de ruído a melhorar muito o desempenho de remoção de ruído no real conjunto de dados de ruído. Inspirados no método acima, alguns autores projetaram cuidadosamente um modelo de estimativa de ruído multitarefa baseado em rede neural, que pode estimar simultaneamente o tipo de ruído na imagem e o nível de ruído correspondente.

-------A implementação do algoritmo relevante será atualizada posteriormente.

Referências:
[1] https://blog.csdn.net/weixin_44580210/article/details/105087523
[2] https://blog.csdn.net/weixin_45355387/article/details/118968623