模型集成方法

数据层面的集成方法:

测试阶段数据扩充:以随机扣取为例,对某张测试图像可得到n张随机扣取图像,测试阶段只需用训练好的深度网络模型对n张图分别做预测,之后将预测的各类置信度平均作为该测试图像的最终预测结果即可。

简易集成法:对于样本较多的类采取降采样,每次采样数依照样本数目最少的类别而定,这样每类取到的样本数是均等的。采样结束后,针对每次采样得到的子数据集训练模型,如此采样、训练反复多次。最后对测试数据的预测则依据训练得到若干个模型的结果取平均或投票获取。


模型层面的集成方法:

单模型集成:

多层特征融合:多层特征融合操作时可直接将不同层网络特征级联。最后使用靠近目标函数的几层卷积特征,因为愈深层特征包含包含的高层语义性愈强、分辨能力也愈强。

网络快照集成法:利用局部最优解形成的网络模型进行集成。

多模型集成:

多模型生成策略:

        同一模型不同初始化:不同的模型参数初始化对导致不用的结果,针对小样本数据,首先对同一模型进行不同初始化,之后将得到的网络模型进行结果集成会缓解其随机性,提升最终的预测结果。

        同一模型不同训练轮数:不同训练轮数的结果是不一样的,尤其是在模型趋于收敛的时候,无法确定到底是哪一轮训练得到的模型是最适合测试数据的,所以对最后几轮训练模型结果做集成,一方面降低随机误差,一方面避免了轮数过多带来的过拟合。

        不同目标函数:既可以对不同模型预测结果做‘置信度级别’的平均或投票,也可以做‘特征级别’的模型集成,将不同网络得到的深度特征抽出后级联作为最终特征,在使用分类器进行训练。

        不同网络结构:

多模型集成:

        直接平均法:直接平均不同模型产生的类别置信度得到最后预测结果。

        加权平均法:是在直接平均法的基础上加入权重来调节不同模型输出。

        投票法:

        堆叠法:二次集成法。




猜你喜欢

转载自blog.csdn.net/u012193416/article/details/79604019
今日推荐