面经问题记录

1.样本不均衡问题

1)增少:

SMOTE算法:简单来说smote算法的思想是合成新的少数类样本,得到少数样本A的最近邻中随机样本B,取AB连线的随机点合成

下采样

2)减多

随机欠抽样方法:上采样

3)增加样本惩罚项权重

2.过拟合问题

1)降低模型复杂度

2)增大数据集

3)数据清洗

4)正则化项(即增加惩罚度,L0(非零参数个数),L1(元素绝对值之和),L2范数(各个参数平方和的开方))

为什么L0和L1都可以实现稀疏,但常用的为L1?L1范数是L0范数的最优凸近似,而且它比L0范数要容易优化求解

5)Dropout层进行随机丢弃

6)早停

3.什么叫稀疏?参数稀疏有什么好处?

稀疏解即只在某(几)个轴上有实数另外的轴为0 ,

1)例如模型参数中很多w=0,那么模型变得简单,不易过拟合

2)特征自动选择,会学习地去掉这些没有信息的特征,也就是把这些特征对应的权重置为0

3)可解释性,非0参数越少,公式表达能力越强。

猜你喜欢

转载自blog.csdn.net/weixin_38740463/article/details/87924707