近日，伯克利和MIT研究者发布的一篇名为《Do CIFAR-10 Classifiers Generalize to CIFAR-10?》的新论文提出了学界一个尖锐的问题：包括CIFAR10在内的知名基准测试集，都存在验证集过拟合问题。
这一论文引起了Keras之父François Chollet的关注与力挺，关于数据集的讨论在推特上一发不可收拾，包括Gary Marcus和François都连发数条推特对此问题进行了讨论。
在连续20几个小时的连续发推中，François Chollet肯定了这篇论文带来对过测试集拟合问题的思考，但是也提出了一些论文中不恰当的地方。
最后，大神也提出了自己的建议，通过高熵验证过程(如k-fold验证)来解决这个问题。
让我们先来看看这篇论文到底说了什么。
这篇论文创建了一组真正“未出现过”的同类图像来测量 CIFAR-10 分类器的准确率，以验证当前的测试集是否会带来过拟合风险。
论文中称，我们通常只能获取具备同样分布的有限新数据。现在大家普遍接受在算法和模型设计过程中多次重用同样的测试集。但显而易见的是，当前的研究方法论忽视了一个关键假设：分类器与测试集应该独立存在。
这种不独立带来了显而易见的威胁——研究社区可能会设计出只在特定测试集上性能良好，但无法泛化至新数据的模型。
大数据文摘微信公众号后台回复"过拟合"下载本篇论文
显而易见，目前深度学习领域的很多“标题党论文”，都存在验证集过拟合问题，包括CIFAR10在内的知名基准测试集。