Han, Z. F., Leung, C. S., Huang, L. T., & So, H. C. (2017). Sparse and Truncated Nuclear Norm Based Tensor Completion. Neural Processing Letters, 45(3), 729-743.
本文是这篇 Neural Processing Letter 期刊论文的笔记,主要是对文中的理论方法进行展开详解。本人学术水平有限,文中如有错误之处,敬请指正。
摘要: 张量(tensor)补全的主要问题是计算其秩(rank)。最近,一种张量核范数(tensor nuclear norm),等于所有张量的展开的矩阵的核范数的加权和,已经被提出来解决这个问题。然而,在此方法中, 所有的奇异值是被同时最小化的。所以,张量的秩并没有被很好地近似。另外,许多现有的方法都忽视了张量的结构信息。此文提出了一种张量补全的算法,基于张量截断核范数(truncated nuclear norm),其优于传统的核范数方法。而且,为了保持结构的信息,一个稀疏约束项,定义于变换域,也被添加到了目标函数中。实验结果表明此文的方法能胜过一些最先进的算法,在张量补全中。
1 简介
在信号处理和机器学习的应用中,比如图像去噪,图像分类和子空间分割,需要根据已知的数据来估丢失的元素。当然,没有对数据信息的先验知识,估计丢失的元素是一个病态的问题。所以,一些假设被广泛地采用。例如,可以使用输入数据的统计或结构的信息,来建立已知数据和未知数据的关系。然而,许多方法都只关注局部联系。
另一种办法是使用输入数据的全局结构信息。许多研究表明真实的信号都存在低维的空间之中。比如,许多的自然图像都包含一些纹理区域。这些纹理的秩通常都很小。所以,许多的矩阵补全方法都研究最小化矩阵的秩。不幸的是,矩阵的秩并不是一个凸函数,意味着低秩最小化不能被有效地求解。
最近,研究表明,核范数,一个凸近似,适合低秩最小化求解。另外,核范数最小化可以通过一些数学方法有效地求解。然而,如 1 所述,使用核范数的最大限制是其不能很好地近似矩阵的秩,因为在优化过程中,所有的奇异值都被同时最小化了。在 2 中,矩阵截断核范数(truncated nunclear norm, MTNN)被提出。不像之前的核范数方法,最小化所有奇异值的和,该 MTNN 方法关注一部分最小的奇异值。经验性的研究表明此 MTNN 方法更优于其他矩阵核范数方法。
最近,作为矩阵补全的扩展,低秩张量补全越来越受关注。Liu et al. 3 首次定义了张量核范数,将矩阵补全扩展到张量补全中。另外,他们构建了两种算法,快速低秩张量补全(FaLRTC)和高精度低秩张量补全(HaLRTC)。由于张量核范数的概念是基于矩阵核范数,所以张量的秩也并没有被很好地近似。另外,这两种算法并没有考虑张量数据地结构信息。
此文定义了张量截断核范数(TTNN)方法。之后,将其应用到张量补全问题中。为了更好地提升性能,此文将
2 背景
2.1 符号
此文中,矩阵用大写加粗字母表示(
其逆操作打包定义为
2.2 矩阵补全
首先回顾以下矩阵补全的概念。令
其中
在优化问题中
在文献 4 中,介绍了矩阵
其中
在基于矩阵核范数的方法中,所有的奇异值都是同时被最小化的。所以,矩阵的秩没有被很好地近似 5 。为了解决这个问题,MTNN 方法被提出了。其等价于
接着,优化问题
根据文献 [5] 所述,该优化问题
其中
基于如上两步骤,交替更新矩阵,最终会使算法收敛到局部最小值。
2.3 张量补全
张量补全是矩阵补全的一般化问题。给定一个低秩的不完整的张量
不像矩阵的情况,很难定义一个张量的秩。许多的张量的秩的版本提出 6 7 。通过将张量转变为矩阵使用矩阵化, Liu et al. [3] 提出了基于张量补全的张量核范数,如下
其中
另外,Liu et al. [3] 提出了 3 种方法求解张量补全问题,包括简单版(SiLRTC),快速版(FaLRTC),和高精度版(HaLRTC)。由于矩阵核范数的内部依赖性,介绍了虚拟的矩阵作为中间变量,
然而,在 FaLRTC 中,所有的奇异值都是被同时最小化的。所以秩也没有被很好地近似。另外,结构信息通常也被忽略了。
2.4 ADMM
交替乘子法 8 是一个经典的算法,用于求解带约束的最小化问题。考虑如下的约束最小化问题:
其中
其中
其中
3 张量截断核范数补全
由于 Matrix TNN 优于矩阵的核范数,此文中将 Matrix TNN 扩展到 Tensor TNN,即
另外,空间结构信息可以用变换系数的稀疏性表征。所以,此文添加一个稀疏约束项(定义于变换域)到目标函数中,保持空间的结构信息。如此,根据之前的 TNN 的定义,可以将目标优化问题
其中
因为
其中
此算法的基本思想是给定一个当前的估计
4 张量补全算法
4.1 算法
基于
其中
1. 计算
2. 计算
3. 计算
4. 计算
5. 计算
算法总结于 Algrithm 1 中。具体的更新步骤 1,2,3 后面会给出。
Algorithm 1 基于 ADMM 优化
Input: 张量数据
Initialization:
while not converged do
Step 1: 更新
Step 2: 更新
Step 3: 更新
end while
Output:
4.2 计算
X(k+1)
在计算
然而,该问题并没有直接的闭式解。因为不能很容易地从
其中
该问题是一个最小二乘问题,并且有闭式解:
4.3 计算
M(k+1)i
在计算
该问题是一般的核范数最小化问题。可以用如下的定理解决
Theorem 1 对于一个
其中
所以,从定理 1 中,可以得到
于是有
注意的是计算
4.4 计算
W(k+1)
为了更新
这是一个
其中
根据这个定义,可以将
5 实验结果
略,详见原文。
- Hu Y, Zhang D, Ye J, Li X, He X (2013) Fast and accurate matrix completion via truncated nuclear norm regularization. IEEE Trans Pattern Anal Mach Intell 35(9):2117–2130 ↩
- Hu Y, Zhang D, Ye J, Li X, He X (2013) Fast and accurate matrix completion via truncated nuclear norm regularization. IEEE Trans Pattern Anal Mach Intell 35(9):2117–2130 ↩
- Liu J,Musialski P,Wonka P, Ye J (2013b) Tensor completion for estimating missing values in visual data. IEEE Trans Pattern Anal Mach Intell 35(1):208–220 ↩
- Candès E, Recht B (2009) Exact matrix completion via convex optimization. Found Comput Math 9(6):717–772 ↩
- Hu Y, Zhang D, Ye J, Li X, He X (2013) Fast and accurate matrix completion via truncated nuclear norm regularization. IEEE Trans Pattern Anal Mach Intell 35(9):2117–2130 ↩
- Kolda TG, Bader BW (2009) Tensor decompositions and applications. SIAM Rev 51(3):455–500 ↩
- Yang L, Huang Z-H, Shi X (2013) A fixed point iterative method for low n-rank tensor pursuit. IEEE Trans Signal Process 61(11):2952–2962 ↩
- Boyd S, Parikh N, Chu E, Peleato B, Eckstein J (2011) Distributed optimization and statistical learning via the alternating direction method of multipliers. Found Trends Mach Learn 3(1):1–122 ↩
- Merhav N, Kresch R (1998) Approximate convolution using DCT coefficient multipliers. IEEE Trans Circuits Syst Video Technol 8(4):378–385 ↩