张量分解-张量介绍

张量分解-张量介绍 2016.06.16

张量介绍

张量(tensor)是一个多维的数据存储形式，数据的的维度被称为张量的阶。它可以看成是向量和矩阵在多维空间中的推广,向量可以看成是一维张量,矩阵可以看成是两维的张量。下面是一个三阶张量的例子，它有三维即3个mode值得注意的是这里说的张量是一个具有某种排列形式的数据的集合，它和物理中的张量场是不同的。

传统的方法（例如ICA,PCA、SVD和NMF）对于维数比较高的数据，一般将数据展成二维的数据形式（矩阵）进行处理，这种处理方式使得数据的结构信息丢失(比如说图像的邻域信息丢失),使得求解往往病态。而采用张量对数据进行存储，能够保留数据的结构信息，因此近些年在图像处理以及计算机视觉等领域得到了一些广泛的应用。张量分解中常见的两种分解是CP分解(Canonical Polyadic Decomposition (CPD)和Tucker分解(Tucker Decomposition)。下面将重点介绍这两种分解，并且将他们在图像处理中的一些应用进行阐述。

张量定义及运算

张量(Tensor)

一个N阶I1×I2×…×IN 维的张量可以表示为Y∈RI1×I2×…×IN 张量中的每一个元素可以由yi1i2…in表示,其中(in∈1,2,…,In)。

纤维(Fiber)

纤维是指从张量中抽取向量的操作。在矩阵中固定其中一个维度，可以得到行或者列。类似于矩阵操作，固定其它维度，只保留一个维度变化，可以得到有纤维的概念。比如说我们对上图中的三阶张量分别按照I,J,K 三个mode进行Fiber操作可以得到如图所示的x:jk,xi:k,xij:三个维度的纤维。三阶张量的Fiber

切片(Slice)

切片操作是指在张量中抽取矩阵的操作。在张量中如果保留两个维度变化，其它的维度变化可以得到一个矩阵，这个矩阵即为张量的切片。对图中的张量分别按照I,J,K三个方向进行操作可以得到如下图所示的xi::,x:j:,x::k 三个维度的切片。三阶张量的Slice

内积(Inner product)

两个大小相同的张量X,Y∈RI1×I2×…×IN定义为张量中相对应的元素的乘积之和形式，即:

⟨ X, Y ⟩ = \sum i 1 = 1 I 1 \sum i 2 = 1 I 2 \dots \sum i N = 1 I N x i 1 i 2 \dots i N y i 1 i 2 \dots i N

相应张量X∈RI1×I2×…×IN的范数定义为:

∥ X ∥ = \sum i 1 = 1 I 1 \sum i 2 = 1 I 2 \dots \sum i N = 1 I N x 2 i 1 i 2 \dots i N - - - - - - - - - - - - - - - - - -  ⎷  

，即所有元素的平方和的平方根。

矩阵展开(Unfolding-Matricization)

张量的矩阵展开是将一个张量的元素重新排列(即对张量的mode-n的纤维进行重新排列)，得到一个矩阵的过程，张量X∈RI1×I2×…×IN在第n维度上展开矩阵表示为X(n)∈RIn×(I1×I2×…In−1In+1…×IN)。对一个三阶张量按照I,J,K三个方向进行矩阵展开得到的矩阵如下图三阶张量的矩阵展开

外积(Outer Product)

定义张量X∈RI1×I2×…×IN和张量Y∈RJ1×J2×…×JM的外积为:

Z = X \circ Y \in R I 1 \times I 2 \times \dots \times I N \times J 1 \times J 2 \times \dots \times J M

其中:

z i 1, i 2, \dots, i N, j 1, j 2, \dots, j M = x i 1, i 2, \dots, i N * y j 1, j 2, \dots, j M

即张量 ZZ 是张量 XX和张量 YY 中的每一个元素的乘积构成的。特别地如果 XX 和 YY 分别是一个向量那么他们的外积是一个秩为1的矩阵，如果 XX和 YY和 ZZ 分别是一个向量，那么他们的外积是一个秩为1三阶张量。

Kronecker乘积(Kronecker Product)

Kronecker乘积定义在两个矩阵A∈RI×J,B∈RK×L上的运算:

Kronecker乘积

Hadamard乘积(Hadamard Product)

Hadamard 乘积定义在两个相同大小的矩阵A∈RI×J,B∈RI×J上的运算:

Hadamard乘积

Khatri-Rao乘积(Khatri-Rao Product)

Khatri-Rao乘积定义了两个相同列数的矩阵A∈RI×K,B∈RJ×K上的操作,它的过程如下图所示。

A ⊙ B = [a 1 \otimes b 1 a 2 \otimes b 2 \dots a K \otimes b K] \in R I J \times K

三阶张量的Slice

张量与矩阵的模积(Mode-n Product)

张量与矩阵的模积定义了一个张量X∈RI1×I2×⋯×IN和一个矩阵U∈RJ×In 的n-mode乘积 (X×nU)∈RI1×⋯×In−1×J×In+1×⋯×IN，其元素定义为

(X \times n U) i 1 \dots i n - 1 j i n + 1 \dots i N = \sum i n = 1 I n x i 1 i 2 \dots i N u j i n

这个定义可以写成沿mode-n展开的形式为：

Y = X \times n U \Leftrightarrow Y (n) = U X (n)

如果J<In那么张量和矩阵的乘积可以看作是一个降维的过程，它把一个高维度的张量映射到一个低维度的张量空间。图 ???演示了一个张量G∈R7×5×8 和一个矩阵A∈R4×7的乘积最终得到张量Y∈R4×5×8,张量的第一个维度由7变成了4。

三阶张量的Slice

张量与向量的模积(Mode-n Product)

张量与向量的模积定义了一个张量X∈RI1×I2×⋯×IN与向量v∈RIn的运算为:

(X \times ¯ n v) i 1 \dots i n - 1 i n + 1 \dots i N = \sum i n = 1 I n x i 1 i 2 \dots i N v i n

一个向量和一个张量进行模乘可以减少张量的阶数，下图演示了一个张量的阶数由3阶变为0阶的过程。三阶张量的Slice