bert模型

bert模型   先将 输入 embedding 采用了 词向量TokenEmbedding 和 PositionalEmbedding 以及 SegmentEmbedding的和

SegmentEmbedding是将 一整行分为三部分 第一句话  分隔符 \t 第二句话 SegmentEmbedding(3, 256)

然后 

使用了8个transformerblock ,对于每一个transformerblock 的结构是:

input_sublayer 层:先norm 在经过multi_head attention 然后残差连接

multi_head attention 包括了 放缩点积attention(scaled dot-Product attention

output_sublayer层:将 input层的结果 在norm 前馈神经   残差 这就是一个整个的transformerblock

前馈神经网络 主要是 先经过线性 GELU激活函数 dropout 在经过线性函数 

采用了 多任务方法  放几张图方便大家理解 

猜你喜欢

转载自blog.csdn.net/candy134834/article/details/84612879