Resolución de problemas inversos con redes neuronales profundas: robustez incluida
- Dirección: Martin Genzel, Jan Macdonald y Maximilian M¨arz
- Revista: preimpresión arXiv
- Tiempo: 2020
- Enlace de código: código
- Enlace de papel: Papel
1 Motivación y contenido de la investigación
- Un trabajo reciente ha encontrado que las inestabilidades de las redes neuronales profundas para la reconstrucción de imágenes y los ataques de adversarios en la clasificación pueden causar cambios muy grandes en la salida cuando ocurren pequeños cambios en el dominio de entrada.
- Este artículo investiga la robustez de las redes neuronales profundas para resolver problemas inversos indeterminados. El contenido de la investigación incluye la detección comprimida utilizando la medición de Guassian y la restauración de imágenes a través de la medición de Founier y Radon,
- Los resultados experimentales muestran que la estructura de red estándar de extremo a extremo no solo es resistente al ruido, sino también a las contraperturbaciones.
2 Antecedentes del problema
- La reconstrucción de señales a través de métodos indirectos juega un papel importante en varias aplicaciones, y tal tarea se denomina problema inverso.
(1)
- La adquisición de datos suele ser costosa, por lo que el régimen indeterminado( m ≪ N m \ll Nmetro≪N ) ha sido ampliamente estudiado, y este problema de refactorización se llama problema inverso mal planteado
- La detección comprimida ha demostrado que resolver el problema de reconstrucción tiene las ventajas de precisión y robustez.Este método tiene un mapeo Rec R m → RN \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}Rmetro→RN tal que (1) satisface un límite de error:
∥ x 0 − Rec ( y ) ∥ 2 ≤ C ⋅ η \left\|\boldsymbol{x}_{0}-\operatorname{Rec}(\boldsymbol{y})\right\|_{2} \ leq C \cdot \eta∥x _0−R mi c ( y ) ∥2≤C⋅η (2)
Sin embargo, en el mundo real, está sujeto al costo de cálculo, el ajuste manual de parámetros y la falta de coincidencia entre los datos medidos y los datos reales.
- Ahora, el método de la red neuronal para lograr la reconstrucción, utilizando el entrenamiento de muestra supervisado para lograr la reconstrucción, requiere una gran cantidad de entrenamiento de muestra. Dado que la garantía teórica de (2) no se puede satisfacer, la verificación empírica de su precisión y robustez contra el ruido de medición es crucial.
- Es de gran importancia estudiar robustez contra el ruido.
3 Método de este artículo
３.１ Arquitecturas de redes neuronales
UNet: R m → RN , y ↦ [ U ∘ A † ] ( y ) \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y}\mapsto\left[\ mathcal{U}\circ\mathcal{A}^{\daga}\right](\boldsymbol{y})Rmetro→RN ,y↦[ tu∘A† ]( y )
- Tira: R m → RN , y ↦ [ T ∘ L ] ( y ) \text {Tira: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \bold symbol{y} \ mapas a [\mathcal{T}\circ\mathcal{L}](\boldsymbol{y}) TiraFL: Rmetro→RN ,y↦[ T∘L ] ( y )
- ItNet: R m → RN , y ↦ [ ( ◯ k = 1 K [ DC λ k , y , A ∘ U ] ) ∘ A † ] ( y ) \text { ItNet: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto\left[\left(\bigcirc_{k=1}^{K}\left[\mathcal{D} \mathcal{C}_ {\lambda_{k}, \boldsymbol{y}, \mathcal{A}} \circ \mathcal{U}\right]\right) \circ \mathcal{A}^{\dagger}\right](\boldsymbol {y}) ItNet: Rmetro→RN ,y↦[ ( ◯k = 1k[ D Cyok,y,A∘U ] )∘A† ]( y )
其中，DC λ k , y , A : RN → RN , x ↦ x − λ k ⋅ A ∗ ( A x − y ) \mathcal{D} \mathcal{C}_{\lambda_{k}, \boldsymbol{ y}, \mathcal{A}}: \mathbb{R}^{N} \rightarrow \mathbb{R}^{N}, \boldsymbol{x} \mapsto \boldsymbol{x}-\lambda_{k} \ cdot \mathcal{A}^{*}(\mathcal{A} \boldsymbol{x}-\boldsymbol{y})CC _yok,y,A:Rnorte→RN ,X↦X−yok⋅A∗ (unx−y )
３.２ Minimización de la variación total
La minimización de la variación total (TV) es un método para resolver tareas de reconstrucción de señales e imágenes, resolviendo (1) de la siguiente forma:
TV [ η ] : R metro → RN y ↦ argmin x ∈ RN ∥ ∇ x ∥ 1 st ∥ A x − y ∥ 2 ≤ η \begin{alineado} \mathrm{TV}[\eta]: \mathbb{R }^{m} & \rightarrow \mathbb{R}^{N} \\ \boldsymbol{y} & \mapsto \underset{\boldsymbol{x} \in \mathbb{R}^{N}}{\operatorname {argmin}}\|\nabla \boldsymbol{x}\|_{1} \quad \text { st } \quad\|\mathcal{A} \boldsymbol{x}-\boldsymbol{y}\|_{ 2} \leq \eta \end{alineado}TV [ η ] _:Rmetrotu→Rnorte↦x ∈ Rnortea r g m i n∥ ∇ x ∥1 calle ∥ un x−y ∥2≤h
３.３ Ruido adversario
eadv = argmax mi ∈ R metro ∥ Rec ( y 0 + mi ) − X 0 ∥ 2 st ∥ mi ∥ 2 ≤ η \boldsymbol{e}_{\mathrm{adv}}=\underset{\boldsymbol{e } \in \mathbb{R}^{m}}{\operatorname{argmax}}\left\|\operatorname{Rec}\left(\boldsymbol{y}_{0}+\boldsymbol{e}\right) -\boldsymbol{x}_{0}\right\|_{2} \quad \text { st } \quad\|\boldsymbol{e}\|_{2} \leq \etamiuna dv _=mi ∈ Rmetroa r g m a x∥ R e c( y0+mi )−X0∥2 calle ∥ mi ∥2≤el
4 Resumen
- Todos los NN entrenados son significativamente robustos a los datos ruidosos
- Mejorar la consistencia de los datos en estrategias iterativas puede mejorar la precisión y la solidez
- El documento también reveló que simplemente agregar ruido blanco gaussiano también es una estrategia efectiva (un método de regularización) no solo debe usar datos sin ruido para el entrenamiento.
- Núcleo: La presencia de ejemplos antagónicos en las tareas de clasificación no afecta naturalmente a los solucionadores de problemas inversos basados en NN. Dichos esquemas de reconstrucción no solo pueden reemplazar los métodos tradicionales como avanzados, sino que también muestran un grado similar de robustez para
5 trabajos relacionados
- Si bien muchos trabajos existentes se centran en la clasificación y tareas relacionadas, pocos estudios de literatura abordan explícitamente la solidez contradictoria de los solucionadores aprendidos en problemas inversos.
- Huang et al., primero migraron los ataques adversarios a métodos de reconstrucción basados en redes neuronales. Sus hallazgos iniciales se limitaron al problema específico de la tomografía computarizada de ángulo limitado, donde ciertas partes de la imagen demostraron ser imposibles de tener una recuperación robusta.