1、手工分析错误
若AI系统没有达到人类水平,可以通过人为的对错误分析,知道系统应该朝哪个方向去提升。
假如有一种情况:在识别猫的系统中,系统将很像猫的狗识别成了猫。
从验证集中取出100张识别错误的图片,任务取识别猫和狗的数量。如果狗的数量=5,则不能识别的图像中狗只占5%,占比不多,即使将所有的狗都识别正确,系统的准确率也只会提高5%。如果狗的数量=50,占比很大,则应该去提升对狗的识别度。
可以同时分析多个错误类别。
2、错误标签
训练集中的错误标签
对神经网络的影响微乎其微,因为他们在训练集中占比很少。
验证集和测试集中的错误标签
如果错误标签对系统影响比较大,则需要将错误标签进行修正,否则可以首先去优化其他参数提高系统准确率。
如何判定错误标签的影响力
-
验证集的整体错误率,即神经网络在验证集上的误差,假设验证集误差是10%。
-
错误标签的占比,假设错误标签占 0.7%。
-
其他标签的错误占比,为9.3%
-
从上面的数据看,错误标签对系统影响并不大,,所