coursera deep learning course3 week2

error analysis
当训练猫的分类器时，可以从错误分类的样本中挑选一定比例的样本，如100张，然后列出如下图的表，其中错分成狗为8%,大型猫科动物43%,…,这样我们就能知道下一步该改进哪方面。
标签错误的数据时做法
在训练集时的做法： deep learning is robust to random errors,因此只要是意外、随机的标记错误，并不会怎么影响徐连效果。
在验证集或测试集时的做法： 在上面的表中加上错误标签的一栏，分析其在错误分类中的比重，以此决定是否检查数据集的标签。
开始一个新的应用
先快速建立第一个工程并且进行迭代学习，做bias/variance and error analysis，然后从中发现应该首先对哪里进行调整。
当做一个猫咪检测器检测用户上传的图像是否为猫咪时，假设用户不多，因为用户的图像较业余、模糊，分布和从网上爬的猫咪图像不同，怎么办？
做法一： 将两者混在一起，再随机划分集合。
优点： 来自同一个分布
缺点： 验证集和测试集的大部分不是来自于我们关心的用户的图片
(推荐)做法二: 将网上爬的图片都加入训练集，用户上传的图片分配给不同集合。
优点： 目标（靶子）是正确的
缺点： 训练集和其他集合来自不同分布
当训练集与其他集合分布不同且对训练集正确率高出验证集不少时，可能时因为：1，分布不同造成的.2，过拟合（high variance）
做法： 将训练集分割出一个train-dev集

验证集/训练集的错误率比训练集的还低，是有可能的
解决分布不一致的几个可能有效的技巧

artificial data synthesis
例如车辆的后视镜唤醒应用中，可能有大量的无背景噪音的唤醒数据，但是只有1个小时的背景噪音数据，可以考虑重复噪音数据并进行合成，但要注意是否发生对有限噪音的过拟合。
迁移学习(transfer learning)
训练好的模型可以将其一部分用来进行其他应用的训练。如果应用的数据较少，可以固定前面层的权重而只对最后几层进行调整，如果数据很多可以对每层都重新训练。每层都训练的话，前面训练好的阶段叫做预训练(pre-training)，后面针对另一个应用训练则称为微调(fine tuning)。

（same input 为相同类型数据的意思，如猫分类器与狗分类器的输入都为图片；Task A数据的价值比TaskB的价值小很多，因此只有在A数据比B的多很多时才用）
multi-task learning
如果低阶特征类似，可以用一个网络同时识别多个目标，输出的每个单元用logistic regression,注意与softmax时的差别。
end-to-end learning
端到端的学习需要大量的数据支持才会有比传统分阶段学习的效果好。

错题记录

选第二个

coursera deep learning course3 week2

猜你喜欢