Nonlinear Subspace Clustering翻译

摘要

本文提出了一种用于图像聚类的非线性子空间聚类（NSC）方法。与大多数仅利用样本的线性关系来学习亲和矩阵的现有子空间聚类方法不同，我们的NSC通过非线性神经网络揭示了样本的多聚类非线性结构。虽然基于内核的聚类方法也可以解决样本的非线性问题，但是这种类型的方法存在可扩展性问题。不同的是，我们的NSC采用前馈神经网络将样本映射到非线性空间，并在网络的顶层执行子空间聚类，从而迭代地学习映射函数和聚类问题。实验结果表明，我们的NSC优于现有技术水平。

引言

子空间聚类是一项重要的视觉分析任务，具有许多潜在的应用，如图像和运动分割[1,2]，面部聚类[3]等。子空间聚类的目标是将样本划分为不同的子空间，并寻求数据的多聚类结构[4,5]。在过去的十年中，文献中提出了许多子空间聚类方法。

现有的子空间聚类方法可以主要分为四类，包括基于代数的，基于迭代的，基于统计的和基于谱聚类的方法[4]。第一类方法应用线性代数或多项式代数理论将数据分成不同的子空间，其中典型的方法是基于矩阵分解的方法和广义PCA [6]。基于矩阵分解的方法通过将数据矩阵分解为低秩矩阵和基矩阵来分割数据[7]。广义PCA假设一组n次多项式可以拟合n个子空间的并集[6]。第二类中的方法迭代地更新子空间的簇以对数据进行分区。例如，K子空间方法将新样本分配给最近的子空间，然后更新子空间[8]。基于统计的方法假设数据服从某些分布并用分布估计子空间。该类别中的两种代表性方法包括随机样本共识[9]和凝聚性有损压缩[10]。最后一类[11-15]中的方法首先利用反映数据相似结构的自表示属性来重构原始数据，然后对自表示矩阵施加稀疏，低秩或分组效应约束[4]。 ]。该类别中的代表性方法包括稀疏子空间聚类[11]，基于低秩表示的子空间聚类[12]，基于最小二乘回归的子空间聚类[14]和平滑表示聚类[15]。

大多数现有的子空间聚类方法仅促进样本的线性关系以学习亲和矩阵，其不足以模拟样本的非线性关系，尤其是在野外条件下捕获的图像时。虽然基于内核的聚类方法[16,17]也可以解决样本的非线性问题，但这种类型的方法会遇到可扩展性问题。为了解决这个问题，我们提出了一种用于图像聚类的非线性子空间聚类（NSC）方法。具体来说，我们采用前馈神经网络将样本映射到非线性空间，并学习自表示矩阵以在网络的顶层执行子空间聚类。迭代学习我们模型的参数。图1显示了所提出的NSC方法的基本思想。实验结果表明，我们的NSC优于现有技术水平。

非线性子空间聚类

在本节中，我们首先描述所提出的模型NSC，然后详细介绍优化过程。

模型

设表示数据矩阵，其中 $x_{i}$ 是X的第i个样本，数据矩阵的维数是d，样本数是n。是自我表示矩阵。我们利用多层前馈神经网络将每个样本 $x_{i}$ 映射到非线性特征空间，以便很好地发现样本的非线性关系。假设我们的NSC模型中有M个层，它们进行M次非线性变换。为了清楚地描述我们的模型，我们做了一些定义。输入样本 $x_{i}$ 表示为，第m层的输出表示为