《百问机器学习》第六问:图像分类时训练数据不足会带来什么问题?如何缓解数据量不足带来的问题?

目录

1. 模型可以提供什么?

2. 先验信息可以用在哪里?

3. 图像分类训练数据不足带来的问题?

4. 如何解决图像分类训练数据不足?

5. 图像分类任务中,在保持图像类别不变的前提下,可以对训练集中的每幅图像进行哪些变换?

6. 如何训练自己的模型?迁移学习


 1. 模型可以提供什么?

  • 训练数据中所蕴含的信息
  • 模型构造学习推理过程中,人们提供的先验信息

训练数据不足时,说明模型从原始数据中获取的信息比较少,这种情况下要想保住模型的效果,需要更多的先验信息

2. 先验信息可以用在哪里?

  1. 先验信息可以用在模型上,比如让模型采用特定的内在结构、条件假设或添加一些约束
  2. 先验信息也可以直接施加在数据集上,即根据特定的先验假设去调整、变换、扩展训练数据

3. 图像分类训练数据不足带来的问题?

训练数据不足带来的问题主要表现在过拟合方面,即模型在训练样本上的效果可能不错,但在测试集上的泛化效果不佳。

4. 如何解决图像分类训练数据不足?

对应的处理方法大致也可以分两类:一是基于模型的方法,主要是采用降低过拟合风险的措施,包括简化模型(如将非线性模型简化为线性模型)、添加约束项以缩小假设空间(如L1/L2正则项)、集成学习、Dropout超参数等;

二是基于数据的方法,主要通过数据扩充(Data Augmentation),即根据一些先验知识,在保持特定信息的前提下,对原始数据进行适当变换以达到扩充数据集的效果。

5. 图像分类任务中,在保持图像类别不变的前提下,可以对训练集中的每幅图像进行哪些变换?

(1)一定程度内的随机旋转、平移、缩放、裁剪、填充、左右翻转等,这些变换对应着同一个目标在不同角度的观察结果。
(2)对图像中的像素添加噪声扰动,比如椒盐噪声、高斯白噪声等。
(3)颜色变换。例如,在图像的RGB颜色空间上进行主成分分析,得到3个主成分的特征向量p1,p2,p3及其对应的特征值 λ1,λ2,λ3,然后在每个像素的RGB值上添加增量[p1,p2,p3]•[α1λ1,α2λ2,α3λ3]T,其中 α1,α2,α3是均值为0、方差较小的高斯分布随机数。
(4)改变图像的亮度、清晰度、对比度、锐度等。

(5)除了直接在图像空间进行变换,还可以先对图像进行特征提取,然后在图像的特征空间内进行变换,利用一些通用的数据扩充或上采样技术,例如SMOTE(Synthetic Minority Over-sampling Technique)算法

(6)使用生成模型也可以合成一些新样本,例如当今非常流行的生成式对抗网络模型。

6. 如何训练自己的模型?迁移学习

对于大部分图像分类任务,并不需要从头开始训练模型,而是借用一个在大规模数据集上预训练好的通用模型,并在针对目标任务的小数据集上进行微调(fine-tune),这种微调操作就可以看成是一种简单的迁移学习。

猜你喜欢

转载自blog.csdn.net/qq_15698613/article/details/96433670
今日推荐