目录
架构方面的进步
NAS的简介
架构方面，一种提升效率的方法是靠人类的创造力设计。另一种方法便是机器驱动的神经架构搜索(NAS)，大大减少算法开发的工作量。
虽然NAS本身的计算量很大、成本高昂，但总体上可以显著降低下游开发和生产环境中的计算量。
如NAS方法搜索出来的Evovled Transformer，在参数减少37.6%的情况下获得0.7%的英德翻译性能提升。
视觉任务上，NAS方法得到的Efficientnetv2模型训练速度比之前的SOTA模型提高了5-11倍。
除了模型架构，AutoML-Zero还使用NAS方法来寻找新的、更有效的强化学习/监督学习算法。