学术论文写作 | (5) Ablation Study

看论文时,在实验部分经常会出现一个Ablation Study模块。Ablation Study可以翻译为 消融实验,本篇博客将解释一下什么是Ablation Study。

Ablation Study典型的做法是在模型或算法中移除一些“feature”,然后看一下对模型性能的影响。(类似于控制变量法,每次修改一个变量,保持其他变量不动,观察这个变量对结果/性能的影响)。

例如:

  • LSTM单元有4个门: feature, input, output, forget。我们可能会问所有这4个门都是必要的吗?如果我去掉其中一个会怎么样?实际上,已经对LSTM变体进行了大量实验,其中GRU是一个著名的例子(更简单)。
  • 如果一个算法或模型是基于之前的工作进行修改,有一系列的改进,研究者想知道最关键的改动是什么或者证明这些改进是有意义的/有效的。(利用Ablation Study,比较添加某个改进后模型性能和原始模型性能,如果添加后的模型性能有很大的提高,说明这个改进或这个工作是有效、有意义的 )
  • 越简单越好(Simpler is better.)如果两个模型可以获得相同的效果/性能,优先选择简单的那一个。(利用Ablation Study,去掉模型的某个/些结构后,性能没有下降或下降在可接受范围内,那么就采用去掉这个结构后的模型,因为它更简单)
  • 如果使用了某些技巧来使算法/模型起作用,那么了解该算法/模型对于消除这些技巧后是否强大/鲁棒是很有用的。
发布了417 篇原创文章 · 获赞 784 · 访问量 15万+

猜你喜欢

转载自blog.csdn.net/sdu_hao/article/details/104475778