版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jzwong/article/details/74128718
发表在CVPR2017上面的一篇paper，下面是我个人对该文的一些粗略翻译、理解和体会。
摘要
通过将低分辨率的高光谱(LR-HSI)图像与高分辨率的多光谱(HR-MSI)图像进行融合，进而得到高分辨率的高光谱图像(HR-HSI)的过程称为高光谱超分辨率。目前大多数的高光谱图像超分辨率多基于矩阵分解的方法，即在处理将三维的高光谱图像展开成为一个矩阵。一般来说，通过展开为矩阵的形式对高光谱图像进行数据表示难以充分探寻高光谱图像空间信息与光谱信息的内在结构。本文中，作者基于非局部稀疏张量分解提出了一种新型的高光谱图像超分辨率的方法。稀疏张量分解能够能够直接将高光谱图像块分解为一个核张量和三个模方向的字典，换句话说，高光谱图像超分辨被形式化为估计核张量和三个模字典的过程。为了进一步探寻高光谱图像非局部空间的自相似性，相似的高光谱块首先被聚集为一个个的簇，相似的块共享同一个字典。对每一个簇而言，从低分辨率高光谱图像(LR-HSI)中学习到谱字典，从高分辨率多光谱图像(HR-MSI)学习到宽高字典，然后通过对每一个块进行稀疏编码学习到核心张量，最终完成高光谱的超分辨率重建。
基于矩阵分解的高光谱超分辨率重建
基于矩阵分解的高光谱超分辨率重建方法多假设高分辨率高光谱图像(HR-HSI)可以写为少量光谱特征(spectral signature)的线性组合。如上图，该类方法大多将高光谱图像沿谱方向将高分辨率高光谱图像(HR-HSI)展开为一个矩阵，即：
其中X(3)表示沿着谱方向展开高分辨率高光谱图像(HR-HSI)得到的矩阵。D和A分别表示谱基和相应的系数矩阵。此时，低分辨率高光谱图像(LR-HSI)和高分辨率多光谱图像可分别看作是X(3)的空间采样和谱采样，即有如下两个式子成立：
至此可以看出，在矩阵分解的框架下进行高光谱图像超分辨率重建只需要根据LR-HSI和HR-MSI得到系数矩阵A和编码字典D即可。
基于张量分解的高光谱超分辨率重建
Tucker分解的基本形式如下：
其中W、H、S分别为宽模、高模和谱模三个方向的字典，C表示张量X沿着三个方向的系数。对于已得到的低分辨率高光谱图像Y可以看作X空间的下采样，即有：
对于高分辨率的多光谱图像Z则可以看作是X谱方向的下采样，即
如上图所示，在张量分解的框架下做高光谱的超分辨率重建本质上只需要获得三个模方向上的字典和相应的核心张量。由于高分辨率多光谱图像包含足够的空间信息，低分辨率高光谱图像包含足够的谱信息，所以W和H字典的学习主要通过高分辨率多光谱图像(HR-MSI)，谱字典的学习则通过低分辨率高光谱图像(LR-HSI)完成。在获得相应字典之后，通过稀疏编码完成字典的学习。最终可获得W,H,S,C，进而可实现高光谱图像的超分辨率重建。
方法框架
所提算法整体框架如下图，
相似块非局部聚类
由于空间信息主要包含在HR-MSI(高分辨率多光谱图像)中，我们首先将HR-MSI通过K-means++算法完成相似块的聚类，获得一个个相似的cube，同一个簇中的cubes共享同一个字典。低分辨率的高光谱图像(LR-HSI)相当于原始高分辨率高光谱图像的空间下采样，所以其中的一个像素可能对应高分辨率情况下一个c*c的小块。将LR-HSI和未知的HR-HSI(期望得到的)进行相应的聚类。这也就是文章中所谓的non-local，非局部的意思大概是说相似的高光谱图像块聚在一起共享同一个字典(核张量)。
张量字典的学习
注意，下面处理的对象是每一个簇中一个小cube。不失一般性，我们以第k个簇为例展示字典的学习过程。
期待获得的高分辨率高光谱图像的第k个簇中第j个cube可以形式化为
换句话说，如果我想重建第k个簇中的第j个cube，只需要获得相应的Wk,Hk,Sk和C(kj)。这里需要注意到，虽然是第j个cube，但是发现三个方向上的字典却只包含k没有j，这也就体现了同一个簇中的cube共享字典的意思。HR-MSI第k个簇中的第j个cube记作Z(k,j)可以表示为X(k,j)的谱方向上的下采样，即
合并前面两个式子可以得到
然后把C、H、S合并记作A并按照宽模方向展开得到
这时候可以看到Z(k,j,1)中的每一列可以看作是Wk每一列的线性组合。这时候Z、W、A都是矩阵了，这样的问题怎么解决？稀疏编码就上场了。类似地，可以求解得到H、S.在获得三个方向上的字典之后，通过张量稀疏编码可以最终解得核心张量C，最终可以完成高光谱图像的超分辨率重建。
下面是我个人对此工作的评价：
1）张量符合高光谱图像自身固有的结构。相比展成矩阵进行处理，张量不会破坏高光谱图像的空间-谱方向的内在关联结构信息，因而取得更好的重建效果从直观上是可以解释的。
2）方法上，该工作更多是将稀疏编码拓展到张量上来，可以认为是传统方法往高维数据上的推广研究。
以上是我个人对这篇文章的简单理解，或许有些地方理解不正确或不严谨，欢迎发邮件至(jzwangATbjtuDOTeduDOTcn)讨论交流。该文作者来自湖南大学，能发CVPR还是挺厉害的，在valse时候和作者进行过简单的交流讨论。在实验室组会上分享讨论了这篇文章，附上自己做的一个简单的PPT，希望能对关注此文的同学有所帮助。
---------------------
作者：JianzhuWang
来源：CSDN
原文：https://blog.csdn.net/jzwong/article/details/74128718
版权声明：本文为博主原创文章，转载请附上博文链接！