论文题目：多视角对抗生成网络以及在珍珠分类领域的应用——1
摘要：
提出了一种多视角对抗生成网络（MV-GAN）用于扩充训练数据，然后将扩充的数据应用于多流形卷积神经网络（MS-CNN），实验显显著降低了基本MSCNN的分类误差（相对而言，高达26.71%），更有趣的是，它还可以帮助MS-CNN抵抗亮度干扰，从而实现更稳健的分类。
Introduction：
作为一个具有挑战性的细粒度识别任务，一般来说，需要同时考虑珍珠的不同视角下的图像，如果只考虑一个视角的话，不同类之间的差异是很小的，并且这种差异非常容易被忽略的。因此，高清晰度（HD）相机、环形光源和四面镜子被集成到一个基于视觉的检测设备中，以一次采集来自五个不同视角的珍珠图像。
当然可以使用传统的数字图像处理方法来捕捉珍珠图像的多个特征，例如使用灰度共生矩阵或局部二值模式来捕捉纹理特征，然后采用一些传统的机器学习方法，如支持向量机和反向传播等神经网络，实现珍珠分类。然而，设计适当的手工制作的特性通常依赖于专家知识，这使得它既昂贵又低效。
为了解决数据量不足的问题，这篇文章采用了GAN来扩充图像，然而，原始GAN可能会产生过于疯狂的珍珠图像。同时，它一次只能生成一幅图像，这些独立的图像不能直接用于MS-CNN，因为我们需要的是单个珍珠的多视图，而非彼此独立的单视图图像。
为了克服这些不足，提出了基于深卷积GAN（DCGAN）[18]和条件GAN（CGAN）[19]的多视图GAN，即MV-GAN，以成功地生成带有标签的珍珠多视图图像，从而有效地扩展珍珠分类的训练集。具体来说，做出了以下贡献：
1） 首先，我们提出MV-GAN作为一种新的深度学习框架来产生珍珠的多视图图像。特别是，这里我们将每个珍珠的多视图图像按上、左、右、主视图和稀有视图的顺序叠加到图像通道维度中，形成多视图输入数据。
2） 其次，MV-GAN框架结合了DCGAN的网络结构和CGAN的标签训练方式。因此，鉴别器有四个卷积层，发生器有四个反卷积层。同时，珍珠标签被用来限制每一层的训练和生成图像的自由度。然后，利用珍珠的多视图图像对MV-GAN进行训练，利用训练后的MV-GAN生成多视图图像，扩展训练集。
3） 第三，利用扩展后的数据集对MS-CNN进行再训练。实验证明，MS-CNN确实可以进一步改进，特别是在原始训练集相对较小的情况下。此外，MV-GAN还可以帮助MS-CNN抵抗环境带来的干扰，如亮度干扰。这表明我们的MV-GAN框架有潜力应用于珍珠产业，以提高珍珠分类的准确性和稳健性。
4） 第四，MV-GAN可以用来生成各种物体的多视图图像。因此，它有潜力应用于许多其他三维（3-D）物体分类[20]-[23]。
Related Work
Radford et al. [18] 总结了GAN的设计和训练原则，并且进一步提出了将卷积运算集成到GAN中，即形成了DCGAN。Mirza和Osindero[19]在GAN中采用有监督学习方法，而不是无监督学习，提出了CGAN。Chen等人。[33]提出了InfoGAN，它将输入的噪声分解为潜在码和独立噪声，以学习可解释的信息，从而通过使用不同的编码方法获得生成图像的不同特征。此外，也有一些研究试图通过使用不同的数据相似性度量来改进GAN，如Wasserstein生成性对抗网络（WGAN）[34]和Wasserstein梯度惩罚生成性对抗网络（WGAN-GP）[35]。
本文以DCGAN[18]和CGAN[19]为参考文献。通过将MS-CNN和GAN相结合，我们提出了一种新的GAN框架，即MV-GAN，用来生成带有标签的珍珠的多视图图像。这些生成的图像进一步用于提高珍珠分类的性能。据我们所知，这是第一个将GAN应用于多视角图像生成和珍珠进一步分类的工作。
MECHANISM AND DATA SET
采用分割、灰度化、中值滤波等方法，从一次拍摄的原始图像中提取出五个视角的五幅图像。然后将这些图像输入我们的MV-GAN以生成人造多视图珍珠图像。我们的数据集包括10500颗珍珠，分为七类，每类包含1500颗珍珠。每颗珍珠有五个不同视角的图像。本研究的主要目的是有效地扩展采集到的珍珠图像数据集，从而在珍珠分类机中获得更好的MS-CNN模型，即在实际应用中达到更高精度的珍珠分类。
METHOD
为了方便起见，我们使用与DCGAN[18]相同的网络结构，并使用与CGAN[19]相同的策略来限制训练和生成过程
