只会高中数学运算就能发现算法？Google 开源的 AutoML-Zero 有多厉害

译者 | 刘畅

来源 | AI科技大本营（ID:rgznai100）

机器学习研究，已经在多个方面都取得了进步，包括模型结构和优化方法等。而使此类研究自动化的工作（称为AutoML）也有重大进展。这一进展主要集中在神经网络的体系结构，神经网络目前主要是依赖于专家设计复杂的层来构建块（或类似的限制性搜索空间）。

本文的目标是证明AutoML可以走得更远。如今有可能仅使用基本的数学运算作为构建块就可以自动发现完整的机器学习算法。

本文介绍了一种新的框架来证明这一点，该框架使用了一个更一般的搜索空间，这可以显著减少主观设计意愿。尽管搜索空间很大，但是进化搜索仍然可以发现使用反向传播训练的两层神经网络。然后，在一些任务上可以超越这些简单的神经网络。即使这些网络用了目前顶级的优化算法，如归一化梯度、权重平均等。

此外，这种搜索可以使算法适应不同类型的任务：例如，当可用数据很少时会出现类似dropout的效果。我们相信从零开始发现机器学习算法的初步成功，为该研究领域指明了一个十分有希望的新方向。

引言

近年来，神经网络在许多关键的任务上取得了卓越的性能。对机器学习研究的时间长度和难度催生了一个名为AutoML的新领域，该领域是为了通过花费机器计算时间而不是人类研究时间来使机器学习技术进步。这项工作取得了丰硕的成果，但到目前为止，现在的研究均严重依赖于人类设计的搜索空间。一个常见的例子就是神经网络架构搜索，它由专家设计的复杂层来作为构建块，并遵守反向传播的规则来限制搜索空间。

类似地，其他AutoML研究也找到了将搜索空间限制在单一算法内的方法，例如反向传播期间使用的学习规则，LSTM的门控结构或数据增广；在这些研究工作中，所有其他的算法仍然是手工设计的。这种方法可以节省计算时间，但是有两个缺点。首先，人为设计的块结构会使搜索结果偏向于人为设计的算法，这可能会降低AutoML的创新能力。更少的选择项也限制了创新，因为无法发现无法搜索的内容。其次，受约束的搜索空间需要精心组合，从而给研究人员带来新的负担，并违背了所谓的节省人类时间的目标。

为了解决这个问题，本文提出了仅使用少量限制和简单数学运算模块的自动搜索所有机器学习算法的方法。我们将这种方法称为AutoML-Zero，它的目的是为了以最少的人为参与进行学习。

换句话说，AutoML-Zero旨在同时搜索细粒度空间的模型，优化过程，初始化等操作，从而减少了人工设计的工作量，甚至可以发现非神经网络算法。为了证明这一点在如今是可行的，本文提出了针对这一挑战的初步解决方案。

AutoML-Zero搜索空间的通用性使其比现有的AutoML算法对应空间搜索更难。现有的AutoML搜索空间已经构建了密集且具有良好的解决方案，因此不再强调搜索方法本身。例如，在同一搜索空间上进行比较发现，领先的技术通常仅比简单随机搜索（RS）略胜一筹。

而AutoML-Zero有所不同：由于搜索空间是更广泛的，以致最终结果变得十分稀疏。我们提出的框架将机器学习算法表示为包含三个分量函数的计算机程序，这些功能一次可以对一个样本进行预测和学习。这些函数中的指令将基本的数学运算赋于内存中。每个指令使用的操作和存储器地址都是搜索空间中的自由参数，分量函数的大小也是如此。

总的来说，本文的贡献是：

AutoML-Zero，可以用最少的人工参与，从头开始自动搜索ML算法；
带有源代码和仅结合基本数学运算搜索空间的新框架；
详细的实验结果，显示了使用进化搜索算法发现ML算法的潜力。

代码地址：

https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero

方法

AutoML-zero方法可以分为两个部分来讲，一是搜索空间，二是搜索方法。

搜索空间

作者将算法表示为在较小的虚拟内存上起作用的计算机程序，这些虚拟内存具有用于标量，向量和矩阵变量的单独地址空间。所有这些都是浮点数，并且共享任务输入特征图的维度。

作者将程序表示为一系列指令。每个指令都有一个确定其功能的操作，为了避免选择操作的偏向性，本文使用了一个简单的标准：需要由高层次的学习来确定。作者有目的地排除了机器学习概念，矩阵分解和导数。

受监督学习工作的启发，作者将算法表示为具有三个分量函数的程序，Setup/Predict/Learn。如下图所示：

下图的进化过程对上述函数的使用进行了阐释。在下图中，两个for循环实现了训练和验证阶段，为简单起见，一次处理一个样本。训练阶段会交替执行“预测”和“学习”。

搜索方法

搜索实验必须通过修改分量函数中的指令来发现机器学习算法。本文使用了正则化进化搜索方法，这是因为它十分简单，而且最近在架构搜索方面取得了不错的成绩。此方法如下图所示。

由父代产生子代的突变必须针对搜索空间进行定制；本文在三种类型的动作中使用了随机选择：（i）在分量函数中的随机位置插入随机指令或删除指令，（ii）将分量函数中的所有指令随机化，或（iii）通过将指令替换为随机选择来修改指令的参数之一。如下图所示。

实验

在接下来的实验部分中，本文将分别回答以下三个问题：“搜索AutoML-Zero空间有多困难？”，“可以使用本文的框架以最少的人工输入来发现合理的算法吗？”，以及“可以通过改变搜索实验中使用的任务类型来发现不同的算法吗？”

1、在搜索空间中寻找简单的神经网络

下图总结了对4种任务类型的分析结果：发现一个完整的算法/仅学习线性的方法/仿射回归数据。AutoML-Zero搜索空间是通用的，但这是有代价的：即使对于一些简单的任务，好的算法也是稀疏的。随着任务变得越来越困难，解决方案变得越来越稀疏，并且其性能大大优于RS。

2、用最少的人工输入进行搜索

通过搜索发现了线性回归、带有反向传播的双层神经网络，甚至是超过手工设计的复杂度相当的基线算法。上面的图显示了我们实验中的一个例子，可以看到演化算法是如何来一步步解决二分类任务的。首先是个线性模型，没有任何优化方法，然后逐步发现了 SGD 来进行优化，接着开始加入随机的学习率，再往后发现了ReLU激活函数，随机权重初始化，梯度归一化等等，越来越接近手工设计的网络结构和优化方法。

3、发现算法的普适性

在本节中，作者将通过搜索三种不同的任务类型来展示本文方法更广泛的适用性。每种任务类型都会有自己的挑战（例如“数据太少”）。我们将展示进化适应算法应对挑战的过程。由于我们已经从头开始获得了合理的模型，因此现在只需使用下图的有效神经网络初始化种群即可，这可以节省时间。

总结

在本文中，作者为AutoML提出了一个宏伟的目标：从基本的操作中自动发现整个ML算法，通过减少人在搜索空间带来的偏好，希望这最终会产生新的ML内容。

本文构建了一个表示ML算法的新框架来证明该研究方向的潜力，该算法将ML算法表示为由三个分量函数（Setup，Predict，Learn）组成的计算机程序。从空的分量函数开始，仅使用基本的数学运算，本文算法逐步演变出了线性回归，神经网络，梯度下降，权重平均，归一化梯度等。这些结果显示该算法是十分有希望的，但仍有许多工作要做。

论文地址：

https://arxiv.org/abs/2003.03384

【END】