超分算法ESPCN：《Super-résolution d'image unique et de vidéo en temps réel à l'aide d'un sous-pixel efficace》

1. Présentation de ESPCN

"Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel" propose une nouvelle méthode de suréchantillonnage , qui a une bonne amélioration de la vitesse de calcul et de l'effet de reconstruction des tâches SR (super-résolution) .

L'article présente un algorithme SR - ESPCN - qui a amélioré l'expressivité de la reconstruction et l'efficacité de calcul (vitesse de reconstruction, consommation de ressources de calcul) par rapport aux algorithmes précédents (SRCNN, Bicubic) .
SRCNN effectue d'abord une interpolation bicubique sur l'image d'entrée, puis effectue une extraction de caractéristiques.Cette méthode équivaut à un super-scoring direct au niveau HR.L'auteur prouve que cette méthode est une stratégie sous-optimale et entraînera une augmentation de la complexité de calcul.

En réponse à ce problème, l'auteur a proposé la structure ESPCN :

1. Il s'agit d'une extraction de caractéristiques directement sur l'image LR d'entrée .
2. L'une est introduite dans le réseau.Cette 亚像素卷积层couche est généralement la dernière couche du réseau.Elle utilise la carte de caractéristiques après l'extraction de caractéristiques précédente comme entrée et réalise la reconstruction LR → SR en apprenant un filtre de suréchantillonnage.
3. La convolution de l'image LR remplace directement la partie de prétraitement bicubique dans le SRCNN, ce qui réduit directement la complexité de calcul et améliore la vitesse d'exécution . L'auteur a réalisé l'effet de super-résolution dans la vidéo 1080P et a atteint le temps réel "dans le titre". ".
4. ESPCN a fait des expériences connexes sur des images et des vidéos, qui ont été améliorées de 0,15 dB et 0,39 dB respectivement ; en outre, la vitesse d'exécution d'ESPCN a également dépassé les précédents algorithmes SR de la série basés sur CNN.

2. Explication détaillée du document

2.1 Présentation

Les deux principaux points d'ESPCN sont très importants : ①Il consiste à extraire directement les caractéristiques des images de niveau LR LR, ②Il s'agit d'une couche de convolution sous-pixel. Développons-la ci-dessous :

1. ESPCN convolue directement l'image au niveau LR pour extraire les caractéristiques, nous pouvons donc utiliser un filtre plus petit pour intégrer les informations sur les caractéristiques à différents niveaux Comparé à SRCNN, cette approche réduit non seulement les paramètres de formation , mais réduit également la complexité de calcul réduit le temps de formation .
   De plus, comme indiqué dans l'article DCSCN, lorsque r ≥ 3, il n'y a en fait aucune différence entre les caractéristiques extraites directement de l'image d'entrée et les caractéristiques extraites après un premier agrandissement par interpolation bicubique, de sorte que l'interpolation apparaîtra redondante et gaspillée en termes de calcul. coût.
2. Le mode de suréchantillonnage dans SRCNN est un processus simple : pour interpoler l'image LR d'entrée, un seul filtre est nécessaire. Dans ESPCN, en supposant que l'ensemble du réseau a L couches, alors les $n_{L-}$Carte de caractéristiques de Zhang, puis au niveau de la couche L, nous pouvons apprendre une manière plus complexe de former $n_{L-}$Un noyau de convolution au lieu d'un simple.
   Plus important encore, la dernière couche peut apprendre implicitement le nombre de canaux $n_{L-}$Le filtre de masse, qui est essentiellement un processus de brassage, sera $r^2$ feature maps sont intégrées, c'est tout亚像素卷积层.

2.2 Méthode

L'image ci-dessus est la structure du réseau ESPCN, et les points suivants seront expliqués :

1. L'image d'entrée est une image LR, et le nombre de canaux est C. Par exemple, dans une image au format RVB, C = 3, notre objectif est de partir de $C\times H\times L\text{'}image\; de\; W$ devient$C\times rH\times$Image de$r$$W.$
2. L'ensemble du réseau est divisé en deux parties : la partie d'extraction de caractéristiques , qui consiste en un réseau CNN continu ; la partie de suréchantillonnage , qui consiste en une couche convolutive de sous-pixels.
3. En supposant que le réseau entier a un total de L couches, la première couche L − 1 est composée de convolution et d'activation non linéaire.L'expression spécifique est : f 1 (
   $$\begin{array}{rl}{F}^1\left({je}^{LR};O_{},b_{}\right)& =\varphi \left(W_{}\ast {je}^{LR\_}+b_{}\right),\\ F^{je}({je}^{LR};O_{1:},b_{1:}& =\varphi \left(W_{}\ast F^{l-1}\left({je}^{LR}\right)+b_{}\right)\end{array}$$
   où $O_{},b_{},je\in (1,L-1)$ sont respectivement des poids et des biais de réseau apprenables. $O_{}$est $n_{l-}\times n_{}\times k_{}\times k_{}$Le tenseur de convolution bidimensionnel de $n_{}$pour $Le\; nombre\; d\text{'}entités\; de\; couche\; l$ ,$n_{}=C$ ,$k_{}$pour $La\; taille\; du\; filtre\; de\; couche\; l$ . Déviation$b_{}$est de longueur $n_{}$de vecteurs. Fonction non linéaire (ou fonction d'activation) $\varphi$ est appliqué élément par élément et est fixe.
4. La couche d'extraction de caractéristiques maintient la taille de l'image constante.

2.2.1 Couche de déconvolution

L'ajout d'une couche de déconvolution est un moyen courant de récupérer la résolution à partir de la mise en commun maximale et d'autres couches de sous-échantillonnage d'image. Cette approche a été utilisée avec succès pour visualiser les activations de couches [49] et générer des segmentations sémantiques en utilisant des fonctionnalités de haut niveau du réseau [24].

On peut voir que l'interpolation bicubique utilisée dans SRCNN est un cas particulier des couches de déconvolution, comme décrit dans [24, 7]. La couche de déconvolution proposée dans [50] peut être vue comme chaque pixel d'entrée avec une foulée $Le\; score\; élément\; par\; élément\; des\; éléments\; de\; filtre\; de\; r$ et la somme de la fenêtre de sortie résultante, également connue sous le nom de convolution vers l'arrière [24].

2.2.2 Couche de convolution sous-pixel efficace

---

Pour mettre en avant le fond :
Une autre façon de mettre à l'échelle les images LR est d'effectuer la foulée $\frac{}{r}$Convolution de , comme décrit dans [24], cela peut être fait simplement par interpolation, perforation [27] ou dégroupage de l'espace LR à l'espace HR [49], puis convolution avec la foulée 1 dans l'espace HR pour améliorer les performances. Ces implémentations augmentent $r^2$ parce que la convolution a lieu dans l'espace HR.
Par conséquent, l'auteur propose une méthode qui utilise également$\frac{}{r}$Couche convolutive implicite avec taille de foulée mais pas de calcul supplémentaire - 亚像素卷积层(sub-pixel convolution layer).

---

L'idée centrale de la convolution des sous-pixels :一张图像放大r倍，就相当于每个像素都放大r倍。

Le processus de convolution de l'avant-dernière couche du réseau 输出通道数est l'image caractéristique de r^2l'image d'origine , puis périodiquement disposée à travers la couche de convolution sous-pixel pour obtenir une image reconstruite avec une taille de .同样大小
(w × r , h × r)

Comme le montre la figure ci-dessus, les 9 caractéristiques encadrées par le cercle rouge sur l'avant-dernière couche sont disposées pour former la petite boîte sur la dernière couche pointée par la flèche. Il s'agit du bloc de reconstruction formé par les pixels encadrés dans l'image d'origine à travers le réseau. Ces neuf pixels ne font que tripler la longueur et la largeur du pixel d'origine.
La convolution sous-pixel (Sub-pixel Convolution) n'a pas réellement d'opération de convolution, mais extrait simplement des caractéristiques et les arrange ensuite simplement.

---

Le principe de la convolution sous-pixel

1. Pourquoi est-ce appelé convolution sous-pixel ?

La couche de convolution sous-pixel peut être considérée comme un 隐式卷积processus : la convolution implicite signifie qu'un filtre est toujours utilisé pour extraire l'information, mais contrairement aux opérations de convolution traditionnelles, il n'est pas utilisé ici 没有涉及可学习的滤波器参数以及任何乘加运算.
Le processus de gauche à droite dans le processus de convolution sous-pixel est comme un $faireunpas\_\_\_=\frac{}{r}$Convoluez l'image LR, si intuitivement il semble que la convolution génère quelques petits pixels, et parce que $\frac{}{r}\le 1$ , signifie qu'il effectue l'opération à l'intérieur du pixel entier, nous l'appelons sous-pixel, comme le commun$\frac{}{2}$、$\frac{}{4}$Les pixels sont des sous-pixels.

2. Comment fonctionne la convolution sous-pixel ?

Dans l'espace LR, une foulée vaut $\frac{}{r}$La convolution de taille $k_{}$Et l'espacement des poids est $\frac{}{r}$Le filtre $O_{}$Activera la convolution dans $O_{}$différentes parties de. Les poids qui tombent entre les pixels ne sont pas activés et n'ont pas besoin d'être calculés. Le nombre de modes actifs est exactement $r^2$ . Chaque mode d'activation, selon sa position, active au plus${\lceil \frac{k_{}}{r}\rceil }^2$ poids. Selon la position des différents sous-pixels :$mod(x,\_\_r)$，$mod(y,\_\_r)$ , dont$X,y$ est la coordonnée du pixel de sortie dans l'espace HR. Dans cet article, nous proposons qu'à$mod(k\_\_{}_{},r)=$Un moyen efficace pour réaliser l'opération ci-dessus à$0\; :$

$${je}^{RS}=F^L\left({je}^{LR}\right)=PS\_\left(W_{}\ast F^{L-1}\left({je}^{LR}\right)+b_{}\right)$$

où $PS$ est un opérateur de transformation périodique, il va$H\times O\times C\cdot r^{Les\; éléments\; du\; tenseur\; 2}$ sont réarrangés comme$rH\times rW\_\times tenseur\; en\; forme\; de\; c$ . L'effet de cette opération est illustré à la figure 1. Mathématiquement, cette opération peut être décrite de la manière suivante :

$$PS\left(T\right)\_{}_{x,y,}=J_{\lfloor X/r\rfloor ,\lfloor y/r\rfloor ,C\cdot r\cdot mode(y,r)+C\cdot mode(x,r)+}$$

Opération de convolution $O_{}$La forme est $n_{L-}\times r^{2C}\_\times k_{}\times k_{}$. Notez que nous n'avons pas appliqué de non-linéarité à la sortie de la dernière couche convolutive. Il est facile de voir que lorsque $K_{}=\frac{k_{}}{r}$, et $mod(k\_\_{}_{},r)=0$ équivaut à filtrer$O_{}$Effectuez une convolution sous-pixel.
Nous appellerons notre nouvelle couche sub-pixel convolution layer, et notre réseau efficient sub-pixel convolutional neural network(ESPCN). La dernière couche génère directement une image HR à partir des cartes d'entités LR, chacune avec un filtre de mise à l'échelle, comme illustré à la figure 4.

---

Méthode d'apprentissage
Étant donné un ensemble d'apprentissage contenant des exemples d'images HR ${je}_n^H,n=\mathrm{1...}N$ , on génère l'image LR correspondante${je}_n^L,n=1,..,N$ , puis calculez l'erreur quadratique moyenne (MSE) au niveau des pixels en tant que fonction objectif pour entraîner notre réseau.

$$\ell \left(W_{1:},b_{1:}\right)=\frac{}{r^{2HW}\_\_}\sum _{x=1}\sum _{x=1}^{rW}{\left({je}_{x,y}^H-F_{x,y}^{}\left({je}^{LR}\right)\right)}^2$$

3. Implémentations associées dans pytorch

En ce qui concerne la couche de convolution sous-pixel, pytorch fournit également l'implémentation torch.nn.PixelShuffle() et torch.nn.PixelUnshuffle()
l'utilisation correspondantes. Pour plus de détails, voir [torch.nn.PixelShuffle] et [torch.nn.UnpixelShuffle]

4. Référence

https://blog.csdn.net/MR_kdcon/article/details/123837994