一、背景
2017年ICML的最佳论文奖被来自于斯坦福大学的Pang Wei Koh和Percy Liang拿下，论文名是《Understanding Black-box Predictions via Influence Functions》，研究内容是关于神经网络的可解释性。论文地址：[1]。
正如论文题目所表明的，本文的核心是influence function（影响函数）。这是一个来自于稳健统计学（robust statistics）的概念[2]，功能是告诉我们当upweight训练样本一个无穷小的量，模型的参数是怎么变化的。
在了解本文是怎样使用influence function之前，我们先来认识下本文的背景。深度学习，尤其是神经网络，近些年来在很多领域都取得了很好的结果，如图像识别、自然语言处理和语音识别等领域。但是，一直以来困扰深度学习的一个问题是深度学习的可解释性太差了。深度学习的研究人员通过改进神经网络结构、调节模型参数和增加正则化方法等，让模型的结果越来越好，但他们并不知道模型内部做了什么让结果变得更好，因此，深度学习也被人戏称为“炼金业”，深度学习的研究人员也被称为“炼金术士”，所谓的炼金也就是指调参。而本文就是通过influence function很好地了解深度学习的“黑盒”，让深度学习拥有了一些解释性。
二、方法
本文的特色之一是其严格、完整的形式化证明，因此先来交待一下本文所研究问题的数学定义。本文研究的是从输入空间X（如图像数据）到输出空间Y（如标签数据）的一般性的预测问题。记训练样本$z_{1}, ..., z_{n}$，其中$z_{i} = (x_{i}, y_{i}) \in X \times Y$。那么经验风险最小化为：
首先，本文假设风险是二阶可微，并严格的凸函数。因为Influence function是从训练数据的视角去观察模型的学习过程，所以先尝试更改训练数据。本文共做了两方面的数据更改，一是upweight训练数据，二是disturb训练数据。
（1）upweight训练数据。
初衷是为了观察删除一个训练样本对模型的影响。删除一个训练样本$z$得到新的经验风险最小化为：（有一个疑问：这里为什么没有乘以1/(n-1)？）
但这样一个接一个地删除训练样本所花费的重训练代价太高。幸运地是，influence function提供了一个高效的近似：删除一个训练样本等价于增加训练样本$z$一个很小的值$\epsilon$。那么得到的新的参数为：
基于文献[3]得到新参数的影响为：
其中$H_{\hat{\theta}}$是Hessian矩阵且是正定的。（因为假设经验风险是二阶可微且严格凸的）
最后，使用链式法则得到在训练样本$z_{test}$影响的函数的closed-form表达式为：
（2）disturb训练数据。
是为了观察修改训练样本的影响。假设一训练样本为$z = (x,y)$，得到新的修改样本为$z_{\delta} = (x + \delta, y)$。得到新的经验风险最小化为：
同样基于文献[3]得到新参数的影响为：
如果$x$是连续的且$\delta$非常小，那么新参数的影响可近似为：
最后使用链式法则，得到disturb的影响为：
三、优化
在计算（upweight和disturb训练数据都会涉及这个计算）
时，会遇到两个问题：一是需要求Hessian矩阵的逆和Hessian矩阵，对于n个训练样本的训练数据而言，其时间复杂度为$O(np^{3} + p^{3})$；二是需要计算所有样本的$I_{up,loss}(z_{i}, z_{test})$。这两个问题都会带来非常大的计算开销。
本文使用基于Hessian-vector products（HVPs）的两种方法近似计算解决上述两个问题：
第一种方法是conjugate gradients(CG)[4]，第二种方法是stochastic estimation[5]，详细介绍见论文。从而使计算所有样本点的时间复杂度被降低到$O(np+rtp)$。
四、验证与拓展
（1）损失函数与欧式距离的区别。
主要有两点区别：第一点是
（2）Influence function和留一法重训练的区别。
直线是留一法的结果，蓝色点是influence function得到的结果。可以看到，两方法得到的结果是接近的，也表明了influence function是一个好的近似，并且Hessian求逆近似也取得了好的结果。
（3）非凸和不收敛。
即使得到的不是全局最小值，而是局部极小值，influence function也能获得有意义的结果。
（4）不可微的损失。
本文采用hinge作为损失函数（不可微），然后使用平滑的hinge损失。结果发现平滑后的结果和原结果十分接近。
五、实例
（1）理解模型行为。
influence function揭示了模型如何依赖于训练数据和从训练数据推断的。两个模型可以通过不同的方式做出相同的预测。本文使用Inception v3和使用RBF作为核函数的SVM两个模型做了实验。
（2）对抗训练样本。
关键观点是
（3）调试领域不匹配。
领域不匹配是指训练集的分布和测试集的分布不匹配，会造成模型在训练时有一个高准确度，但在测试集上准确度很低。因为influence function可以找到对这类错误影响最大的训练样本。
（4）纠正错误标签的样本。
标记出对模型训练影响最大的一些训练样本。
参考文献：
[1]Koh P W, Liang P. Understanding black-box predictions via influence functions[J]. arXiv preprint arXiv:1703.04730, 2017.
[2]Cook R D, Weisberg S. Characterizations of an empirical influence function for detecting influential cases in regression[J]. Technometrics, 1980, 22(4): 495-508.
[3] Cook R D, Weisberg S. Residuals and influence in regression[M]. New York: Chapman and Hall, 1982.
[4] Martens J. Deep learning via Hessian-free optimization[C]//ICML. 2010, 27: 735-742.
[5] Agarwal N, Bullins B, Hazan E. Second-order stochastic optimization in linear time[J]. stat, 2016, 1050: 15.