NLP中的tramsformer的整体架构

tramsformer相比传统的解决方案的优势在于能够进行并行计算

编码方面:
1输入X,X是一个序列→里面包含好几句话→每句话有许多词
⬇⬇⬇⬇
2对词进行预处理→周期性的标志(正弦余弦),独热编码(这一步中,主要是因为NLP模型一般都是人家训练好的,我们调调参就能上)
⬇⬇⬇⬇
3输入刚刚处理好的词,做N次self-attention
⬇⬇⬇⬇
4做multi-head的self-attention
⬇⬇⬇⬇
5随着层数的堆叠可能越预测效果越不理想使用残差连接

解码方面:
1使用mask机制(比如考试不能透考题)
2考虑编码端,每输出一个词都有独立的特征编码
3做N层,多层堆叠(multi-head与self-attention)
4化为分类问题

猜你喜欢

转载自blog.csdn.net/CSDNXXCQ/article/details/113362142