《临时笔记》一些深度学习中的英文术语的纪录

jitter

抖动(jitter)[1]在机器学习中是一种有效的数据增广（data augmentation）手段，其本质是在训练模型过程中，在训练数据中人工叠加的一些噪声。在训练中添加抖动可以有效地工作，提高性能，其原因在于我们通过神经网络学习得到的假设函数（hypothesis）通常是平滑的，如Fig 1所示，而不是和Fig 2所示的这种不平滑的。
神经网络能学习到具有非连续性的函数，不过这个函数必须是在有限区域内分段连续的，因为我们的网络通常是有限数量的隐藏层。
这里的连续和平滑，意味着如果我们有两个相似的输入 $x$和 $x+\Delta x$，神经网络的输出应该也是相似的（在Fig 2所示的情况下显然不成立，但是因为我们假设我们的函数是平滑的如Fig 1所示，所以成立）。这意味着我们可以在某个训练样本旁边添加一些“虚假的训练样本”，只需要在训练样本上手动添加一些足够小的干扰信号（噪声）就行了。通过这个数据增广手段，可以有效地补充样本，填充假设函数的“空隙”。
在大多数情况下，通过抖动进行数据增广是一个简便有效的提高性能的手段。太多的抖动也会产生“垃圾”，影响性能；而太小的抖动则可能对性能无力回天，因此这个尺度是需要调整的。

Fig 1. 平滑的假设函数

Fig 2. 不平滑的假设函数

Reference

[1]. ftp://ftp.sas.com/pub/neural/FAQ3.html