通过GAN网络生成样本的一些想法创造数据

GAN的初始目的是基于大量的无标记数据无监督地学习生成器G,具备生成各种形态(图像、语音、语言等)的数据能力。随着研究的深入与发展,以生成图像为例,GAN能够生成百万级分辨率的高清图像[6]。实际上,GAN生成数据并不是无标记真实数据的单纯复现,而是具备一定的数据内插和外插作用,可以作为一种数据增广方式结合其它数据更好地训练各种学习模型。进而,通过在生成器的输入同时包括随机变量z和隐码c并最大化生成图像与隐码c的互信息,InfoGAN能够揭示复杂数据中隐含的分布规律,实现数据的解释化表达[7]。因而,GAN不仅可以用于探索复杂数据的潜在规律,还能够生成高质量的生成样本以作为真实数据的有效补充,为学习智能模型提供了新的视角和数据基础。

对于条件GAN模型,生成网络的输入往往被定义为样本的类别甚至其它形式(模态)的数据。到目前为止,已研究了根据文本描述生成图像[8],进行交互式图像编辑[9],从低分辨率图像生成高分辨率图像[10],预测视频的未来帧[11],将仿真图像转换为真实风格的图像[12],实现通用的图像到图像转换[5],对真实图像的光照和天气条件进行变换[13],从二维图像生成物体的三维模型等[14]。数据形式(模态)的转换可以进一步带来不同模态之间数据的可复用、模型和知识的迁移、创造更高水平的智能。例如,SimGAN能够将仿真图像转换为更具真实感的图像,同时保持仿真图像的标注信息不变,利用转换后的图像数据来训练视线估计和手势估计模型,使模型精度得到大幅提升[12]。

更进一步,由于GAN引入了对抗学习机制,在训练生成器产生更高质量数据的过程中,本身就会创造新的智能。例如,将语义分割卷积神经网络作为GAN的生成器,用判别器来判断分割图是来自分割网络还是来自真实标注,可以引入更高阶的一致性约束,提高语义分割的精度[15];在本专刊中,郑文博等撰写的《基于贝叶斯生成对抗网络的背景消减算法》利用GAN的对抗学习机制来训练背景消减神经网络,将一批输入图像直接转换成一批前景/背景分割结果,在公共测试集上取得了良好的性能;MalGAN能够主动生成具有对抗性的病毒代码样本,攻击黑盒病毒检测模型,有利于提高反病毒软件的性能[16]。总之,GAN在对抗样本、数据增广、迁移学习和创造智能等方面都展现出巨大的潜力,已成为当前的深度学习与人工智能研究中关注的热点。

猜你喜欢

转载自blog.csdn.net/u010159842/article/details/83897299