摘要

在无穷宽度条件下，宽神经网络由在初始参数处的一阶泰勒展开式线性模型主导。（for wide neural networks, …, in the infinite width limit, they are governed by a linear model obtained from the first-order Taylor expansion of the network around its initial parameters.）
将贝叶斯神经网络和高斯过程的对应部分映射，基于梯度和平方损失的宽神经网络的训练生成的测试集的估计，是由一个特定的核下的高斯过程生成的。（Furthermore, mirroring the correspondence between wide Bayesian neural networks and Gaussian processes, gradient-based training of wide neural networks with a squared loss produces test set predictions drawn from a Gaussian process with a particular compositional kernel.）
尽管上述结论是在无限宽模型下得到的，论文作者发现实验证明对于可操作的有限尺寸的神经网络，由神经网络得到的估计与线性模型得到的估计也是基本一致的。且这个一致性对于不同结构、不同优化方法、不同损失函数，都是成立的。（While these theoretical results are only exact in the infinite width limit, we nevertheless find excellent empirical agreement between the predictions of the original network and those of the linearized version even for finite practically-sized networks. Thiss afreement is robust across different architectures, optimization methods, and loss functions.）

Introduction

这里的宽度（width）指：全连接层中隐藏神经元（hidden units in a fully connected layer）的个数，或卷积层中的通道（channels in a convolutional layer）数。
在无限宽限制条件下，神经网络初始状态下的输出就可以从一个高斯过程（Gaussian Process, GP）得到，且在平方损失和绝对贝叶斯训练下，神经网络的输出始终被GP主导。
无限宽网络限制除了理论上更简单，实验也证明更宽的网络的泛化性越好。
宽神经网络以梯度下降法进行的学习动态（learning dynamics）可以由该网络在初始状态下的一阶泰勒展开替代，且对于有限宽网络，该结论在实验下也成立。

主要贡献：

显示参数空间的动态与一个仿射成所有网络参数（weights，biases）的训练动态是等同的。（A key contribution of our work is to show that dynamics in parameter sppace are equivalent to the training dynamics of a model which is affine in the collection of all network parameters, the weights and biases.）
上述结论无论在什么损失函数下都是成立的。在平方损失（suqiared loss）下，该动态是一个关于时间的封闭解函数。（This result holds regardless of the choice of loss function. In the case of suqared loss, the dynamics admit a closed-form solution as a function of time.）

理论结果

略过

实验

网络结构： 全连接、卷积、宽ResNet结构。
训练设置： full和mini- batch梯度下降，学习率足够小。
任务： CIFAR-10下的二类分类（马、飞机），MNIST和CIFAR-10下的十类分类。
损失： 用MSE损失时，而非类问题被视作回归问题，一类为+1，另一类为-1。

在这里插入图片描述