训练集中的正负样本比例失调怎么办

1,通过过抽样和欠抽样解决样本不均衡

1,过抽样:过抽样也叫做上采样(over-sampling).这种方法通过增加分类中少数样本的数量来实现样本均衡。最直接的方法是简单复制少数样本形成多条记录。比如正负比例为1:10,那么我们可以将正例复制9遍来达到正负比例1:1。但是这种方法的缺点就是如果样本特征少而可能导致过拟合的问题;经过改进的过抽样方法通过在少数类中加入随机噪声、干扰数据或通过一定规则产生新的合成样本,例如SMOTE算法。
2,欠抽样:欠抽样也叫做下采样(under-sampling),这种方法通过减少分类中多数分类的样本数量来实现样本均衡,最直接的方法就是随机的去掉一些多数类样本来减小多数类的规模,缺点是会丢失多数类样本中的一些重要信息。

总而言之,过抽样和欠抽样更适合于大数据分布不均衡的情况,尤其是第一种(过抽样)应用更加广泛。


2,通过正负样本的惩罚权重解决样本不均衡。
3,通过组合集成方法解决样本不均衡。
4,通过特征选择解决样本不均衡

后面三种方法就不具体展开记录了,具体步骤见参考地址
参考地址:https://www.zhihu.com/question/56662976

猜你喜欢

转载自blog.csdn.net/u010995990/article/details/79741373
今日推荐