继2017年底在人工智能大会上批评机器学习已成为“炼金术”后，谷歌科研人员Ali Rahimi与其他科研人员一起在“国际学习表征大会”（International Conference on Learning Representations）上发文，列举了机器学习“炼金术”的案例。
2017年12月，在一次人工智能大会上，谷歌的人工智能研究员AliRahimi对他所在的研究领域进行了一次猛烈的抨击，并获得了与会者持续40秒的掌声。会上Rahimi指责机器学习算法（计算机通过反复试验来学习）已经成为一种“炼金术”。他表示，研究人员不知道为什么有些算法会起作用，而另一些没用，他们也没有严格的标准来选择一个人工智能架构。如今，2018年4月30日在加拿大温哥华举行的国际学习表征大会上，Rahimi和他的合著者们发文列举了炼金术问题的案例，并为提高人工智能的严格性提供了解决方案。
Rahimi称，很多人工智能研究人员都觉得自己在操作一种外星人技术。这个问题与人工智能的再现性问题截然不同，它也不同于机器学习中的“黑盒子”或“可解释性”问题——很难解释某一特定的人工智能是如何得出它的结论的。Rahimi表示：“我正试图区分机器学习系统，它是一个黑盒子，整个领域变成了一个黑盒子。”
他表示，如果不深入了解构建和训练新算法所需要的基本工具，研究人员就会像中世纪的炼金术士一样，借助道听途说的方法来研究人工智能。谷歌的计算机科学家Francois Chollet补充道:“人们都是围绕着对物质崇拜的做法，”依靠“民间传说和魔法咒语”。例如，他们采用热门方法来调整人工智能“学习速率”（一个算法在每次出错之后会多大程度上纠正自己），而不去了解为什么一种算法比其他的好。在其他案例中，人工智能研究人员实施了所谓的“随机梯度下降法”，以优化算法的参数，获得尽可能低的失败率。然而，尽管有数千篇关于这个主题的学术论文，以及无数应用该方法的途径，这个过程仍然依赖于尝试和错误。
Rahimi的论文强调了可能造成的浪费的努力和次优的性能。例如，他指出，当其他研究人员从最先进的语言翻译算法中去掉了大部分的复杂性时，该算法能更好更有效地从英语翻译成德语或法语，这表明它的创建者并没有完全理解这些额外的部分有什么好处。反之，Twitter机器学习研究人员Ferenc Huszar称，有时候，算法上附加的修饰物是唯一好的部分。他说，在某些情况下，算法的核心是有技术缺陷的，这意味着好的结果“完全归因于应用的其他技巧”。
Rahimi就学习哪种算法最有效以及何时最有效提供了一些建议。他说，首先，研究人员应该像翻译算法那样进行“消融研究”：每次删除一个算法的部分，以查看每个组件的功能。他呼吁进行“切片分析”——对算法的性能进行详细分析，以了解某些领域的改进可能会在其他方面产生的成本。他还说，研究人员应该对他们的算法进行多种不同条件和设置的测试，并记录所有算法的性能。
加州大学伯克利分校(University of California, Berkeley)的计算机科学家、Rahimi炼金术主题演讲的合著者Ben Recht表示，人工智能需要借助于物理学，物理学研究人员经常把问题缩小到一个更小的“游戏问题”。他说:“物理学家们在设计简单的实验来解释现象方面是惊人的。”一些人工智能研究人员已经开始采用这种方法，在处理大型彩色照片之前，在小的黑白手写字符上测试图像识别算法，以便更好地理解算法的内部机制。
伦敦DeepMind的计算机科学家Csaba Szepesvari表示，该领域还需要减少对竞争性测试的重视。目前，如果所报告的算法优于某些基准测试，那么该报告就能说明软件的内部工作原理，论文也更有可能被发表。这就是花哨的翻译算法通过同行评审的方式。他表示，科学的目的是产生知识，你想要生产出别人可以利用的东西。
并不是每个人都赞同Rahimi和Recht的批评。Facebook首席人工智能科学家Yann LeCun担心，将太多的精力从尖端技术转移到核心理解上，可能会减缓创新，阻碍人工智能的实际应用。“这不是炼金术，而是工程学，”他说。“工程学更复杂。”