AI「反腐」,德国马普所结合 NLP 和 DNN 开发抗蚀合金

内容一览:在被不锈钢包围的世界中,我们可能都快忘记了腐蚀的存在。然而,腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉,老化漏液的电线,还是失去光泽的汽车,这一切的发生都与腐蚀有关。据统计,全世界每年由金属腐蚀带来的经济损失超过
2.5 万亿美元,远超过其他自然灾害。其中,腐蚀在中国造成的经济损失约 3,949 亿美元,占中国 GDP 的 4.2%。正因为此,研究者们一直在探索抗蚀性能更好的合金或是金属保护膜。如今,在优化材料抗蚀性能的过程中,AI 派上了用场。

关键词:自然语言处理 深度神经网络 腐蚀

作者 | 雪菜
编辑 | 三羊

本文首发于 HyperAI 超神经微信公众平台~

据美国腐蚀工程师协会 (NACE, National Association of Corrosion Engineers) 统计,2013 年全世界由腐蚀造成的经济损失超 2.5 万亿。同时,中国也饱受腐蚀的困扰,经济损失约 3,949 亿美元,占当年 GDP 的 4.2%,较其他发达国家比例略高。

作为对比,2008 年汶川大地震造成的经济损失约 1,100 亿美元。也就是说,早在 2013 年,仅腐蚀为我国带来的经济损失,就超过了 3 个汶川大地震。
在这里插入图片描述表 1:2013 年世界各地因腐蚀造成的经济损失(单位:十亿美元)

为破解腐蚀难题,研究者们在致力于提升材料强度的同时,也在不断寻找提升材料抗蚀性能的方法。 借助 AI,他们已经取得了一定的进展,如对高温下合金的腐蚀机制进行了预测,对钢铁的大气腐蚀速率和钢筋混凝土的环境腐蚀进行了分析,并能够用卷积神经网络 (CNN) 从图像中判断材料的腐蚀形式。

然而,机器学习模型的输入数据多为数值数据。但在金属材料的加工和分析中,除了 pH 值、测试温度等数值数据,还有材料类型等分类数据及热处理过程、测试方法等文本数据。传统的机器学习模型无法对所有数据进行彻底读取和分析,预测准确率较低。

为此,德国马克思普朗克铁研究所 (MPIE, Max-Planck-Institut für Eisenforschung) 将深度神经网络 (DNN) 和自然语言处理 (NLP) 相结合开发了进程感知 DNN。 这一模型可以将数值数据和文本数据结合处理,其准确率较其他模型提升了 15%。

同时他们将金属的物理化学特性转换为描述符,构建了特征变换 DNN, 可以用于预测训练集中不存在的元素对抗蚀性能的影响。这项研究已于 2023 年 8 月发表于《Science Advances》,标题为「Enhancing corrosion-resistant alloy design through natural language processing and deep learning」。

在这里插入图片描述

相关研究已发表于《Science Advances》

论文链接:
https://www.science.org/doi/10.1126/sciadv.adg7992

进程感知 DNN

模型设计

本研究数据集为 5 类 769 种合金的点蚀电位,数据集中包括数值数据、分类数据及文本数据。其中,数值数据被直接输入模型中,分类数据通过顺序编号转为数值输入模型,而文本型数据则通过 NLP 架构处理后输入模型。

NLP 架构主要分为三个部分,包括词汇标记、向量化和向量序列的处理。

词汇标记过程中,每个词汇被一个特定的整型数字 (integer token) 替换。通过词汇标记,一个词组或句子就被转换为一个整型向量 (integer vector)。

词汇标记之后,虽然文本数据转换成了数值,但数值之间没有任何关联,无法承载原文的语义。因此,整型向量会经过向量化转换为 n 维浮点型向量。在训练过程中, 每个词汇的权重被不断优化。训练完成后,向量间的接近度则对应着它们的语义相似性。

最后,n 维浮点型向量通过长短期记忆递归神经网络 (LSTM) 转换为单一向量,进入输入层。LSTM 可以通过门函数,识别词汇间的长期依赖性。因此,LSTM 可以从给定语句中找出关键的相关词汇,将语句中最重要的部分传递给 DNN 的输入层。

在这里插入图片描述

图 1:进程感知 DNN 模型结构

A:NLP 数据处理工作流
B:进程感知 DNN 模型示意图

训练及验证

训练之后,研究者对模型的绝对平均误差进行了汇总。进程感知 DNN 的平均绝对误差约 150 mV,较简单 DNN 降低了 20 mV。预测点蚀电位和实际点蚀电位之间的 R2 为 0.78 ± 0.06, 较简单 DNN 的 0.61 ± 0.04 更高。上述结果说明,在对文本数据进行分析之后,进程感知 DNN 的性能优于简单 DNN 模型。

在这里插入图片描述

图 2:进程感知 DNN 训练结果

A:训练及验证过程中的平均绝对误差,其中红线为简单 DNN 模型的平均绝对误差;
B:进程感知 DNN 与简单 DNN 模型的结果对比。

合金组分优化

为了对比进程感知 DNN 与简单 DNN 在合金组分优化过程中的差异,研究者从相似的合金组分开始,用相同的学习率,利用两种模型分别对合金组分进行了优化。

在这里插入图片描述

图 3:组分优化结果

A&B:铁基合金优化结果;
C&D:Ni-Cr-Mo 合金优化结果;
E&F:Al-Cr 合金优化结果;
G&H:高墒合金优化结果。

图中可以看到,两种模型对铁基合金和 FeCrNiCo 高墒合金的优化结果存在部分的相似性,但对其他两种合金的优化结果差异很大。 首先,进程感知 DNN 预测 Mo 元素含量增加,会显著提高铁基合金和 Ni-Cr-Mo 合金的点蚀电位。其次,进程感知 DNN 认为在 Ni-Cr-Mo 合金中,间隙氮和间隙碳可以提升合金的点蚀电位。最后,在 Al-Cr 合金中,Cu 元素也有利于点蚀电位的提升。这些都是简单 DNN 所忽视的。

特征变换 DNN

模型设计

通过合金组分特征化函数「WenAlloys」,合金的组分信息还可以被分解为一系列原子、物理及化学特性,并变换为不同的描述符,作为 DNN 模型的输入值。
在这里插入图片描述

表 2:部分特征的变换结果

其中 ci、ri、Xi 及 Ec,i 分别代表原子分数、原子半径、泡利电负性、元素结合能。

训练及验证

在这里插入图片描述

图 4:特征变换 DNN 的训练结果

A:模型训练及验证过程中的误差曲线;
B:训练之后预测点蚀电位和实际点蚀电位的回归曲线;
C:特征变换 DNN 及简单 DNN 的结果对比。

训练后,特征变换 DNN 的平均绝对误差约 168 mV,R2 为 0.66,性能较简单 DNN 模型略有提升。

特征变换 DNN 对抗蚀机制的分析

从五类合金中各选出一种进行特征变换,之后输入模型中进行优化。基于优化曲线,输入特征可以被分为两类。一类特征曲线在优化过程中变化显著,超出了训练集中的预期;另一类特征在优化过程中只有微小的变化。

在这里插入图片描述

图 5:不同输入特征的优化曲线

图中是 4 个优化过程中发生显著变化的特征,这意味着这些特征可能是提升合金点蚀电位的重要参数。

特征变换 DNN 对 Al-Cu-Sc-Zr 合金的预测

由于特征变换 DNN 的输入中只有组分的原子、物理及化学特征,因此它可以对训练集中不存在的元素进行预测。

在多种合金中,Sc 和 Zr 元素都展现出了对抗蚀性能的提升。因此,研究团队利用特征变换 DNN 对这两种元素对 Al-Cu 合金的影响进行了分析。

在这里插入图片描述

图 6:特征变换 DNN 对 Al-Cu-Sc-Zr 合金的点蚀电位预测结果

如图所示,随着 Zr 和 Sc 元素含量的增加,合金的点蚀电位不断提升,说明合金的抗蚀性能有所提高。这一结果验证了特征变换 DNN 对新元素的预测能力。

上述结果说明,将 NLP 与 DNN 结合之后,模型能够读取有关合金加工和测试方法的文本数据, 因此较传统的 DNN 模型性能更好,并能够发现简单 DNN 所忽略的元素对合金抗蚀性能的影响。而特征变换 DNN 则可以从合金的原子、物理及化学性质出发, 对训练集中不存在的元素的性能进行预测。

腐蚀:沉默的金属杀手

2009 年,世界腐蚀组织 (WCO) 将每年的 4 月 24 日确立为世界腐蚀日,以提升公众对腐蚀的认知。作为一种常见的化学现象,腐蚀存在于我们生活中的每个角落。无论是厨房的各种用具,还是家用的各类电器,还有横跨海陆空的的交通工具,乃至独具设计的各种建筑物,都饱受腐蚀的困扰。可以说,有金属的地方就有腐蚀。

金属腐蚀包括化学腐蚀和电化学腐蚀,其中电化学腐蚀的发生更为普遍,危害更大。电化学腐蚀是指两种金属在电解质溶液中形成回路,构成原电池,导致活泼金属被腐蚀的现象。常见的电化学腐蚀包括均匀腐蚀、点蚀、应力腐蚀、间隙腐蚀等。其中,非均匀腐蚀尤其是点蚀等不易被发现的腐蚀形式,对金属的危害更大,极易造成事故。
在这里插入图片描述

图 7:常见的电化学腐蚀类型

2013 年 11 月 22 日,山东省青岛市的输油管路由于长期处于高氯和干湿交替环境下,管壁腐蚀减薄,最终发生破裂,导致原油泄漏。之后的清理抢修过程中, 由于现场操作不当,导致原油爆燃,最终造成 62 人死亡,163 人受伤。

腐蚀往往难以察觉,因此避免腐蚀事故需要定期的人工检查和抢修,耗费大量的人力物力。现在,在 AI 的帮助下,我们可以对合金的组成进行优化,找到抗蚀性能更好的材料。 同时,数字化的腐蚀监测系统也正投入使用,帮助我们迅速定位腐蚀电位,让「沉默的杀手」不再沉默。

参考链接:

[1] http://impact.nace.org/documents/Nace-International-Report.pdf

[2] https://whatispiping.com/corrosion/?expand_article=1

[3] https://www.gov.cn/govweb/jrzg/2014-01/11/content_2564654.htm#:

本文首发于 HyperAI 超神经微信公众平台~

猜你喜欢

转载自blog.csdn.net/HyperAI/article/details/132674607
DNN
NLP