nlp&python | 使用bert提取分子表征（ongoing）

介绍

BERT在自然语言处理（NLP）领域取得了巨大的成功。使用未经标记的数据集进行训练，可以得到能学会复杂的语言表示形式的大规模模型。那么，我们可以将类似的研究方法应用于化学表示中，尤其是SMILES序列：

自监督学习任务

1.Masked language modeling(MASKEDLM)
BERT提出的规范任务，通过训练模型来预测mask的真实身份。使用序列输出和输入的mask之间的交叉熵损失来优化任务。

2.SMILE