本文来自 AAAI 2019, Oral的一篇文章，主要的思想是通过知识蒸馏的方法将不同的已训练的teachers模型，压缩为一个简单的student网络，来学习多种模型的知识而不用产生额外的测试开销。作者使用的是基于对抗的学习策略，设计了一个block-wise training loss引导和优化预先定义的student网络，进行teachers模型知识的蒸馏，并同时提高辨别器网络（discriminator）对学生和老师提取出的特征的区分能力。
【Abstract】
性能优异的模型通常包含多个基准网络，然而模型的大小和前馈时间限制了这些模型在实际中的应用，尤其是当拥有较大测试集时。本文提出了基于对抗学习策略的模型压缩方法MEAL，该方法包含三个重要的优势：
①学生网络和辨别器一起学习知识能够达到比原始模型更好的优化效果；
②通过简单的学生网络实现更快的前馈速度，同时不降低性能；
③学生可以学习任意结构网络模型的知识。
【Introduction】
该集成方法主要是集合多个网络，将他们在测试阶段的预测通过加权平均或选择进行融合。训练时，将不同或相同的已增强输入经过不同网络结构得到的输出，进行集成预测；测试时，仍然使用一个简单网络；但各个预训练网络使用的监督标签必须和集成中的各个独立网络使用标签一致。
传统集成方法的不足：①知识或信息冗余；②集成模型非常大且慢；
作者通过不同神经网络的不同输出作为监督来引导目标网络的训练，参考网络成为老师，目标网络成为学生。作者使用soft label以提供更多物体和场景的共生与视觉联系的信息覆盖，来代替传统方法使用的one-hot label