bert模型 先将 输入 embedding 采用了 词向量TokenEmbedding 和 PositionalEmbedding 以及 SegmentEmbedding的和
SegmentEmbedding是将 一整行分为三部分 第一句话 分隔符 \t 第二句话 SegmentEmbedding(3, 256)
然后
使用了8个transformerblock ,对于每一个transformerblock 的结构是:
input_sublayer 层:先norm 在经过multi_head attention 然后残差连接
multi_head attention 包括了 放缩点积attention(scaled dot-Product attention
output_sublayer层:将 input层的结果 在norm 前馈神经 残差 这就是一个整个的transformerblock
前馈神经网络 主要是 先经过线性 GELU激活函数 dropout 在经过线性函数
采用了 多任务方法 放几张图方便大家理解