【源码阅读】BERT pytorch源码结构关系图

在这里插入图片描述
如图,模型基本结构是BERT,是model,而BERTLM集成了Bert,NSP,MLM,是模型结构的核心。
在数据的处理中,核心是BERTDataset
训练或者评估的时候,调用了BERTTrainer,他使用了BertDataset的数据来对BERTLM进行训练与迭代,

发布了63 篇原创文章 · 获赞 13 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/changreal/article/details/104602430
今日推荐