注意力机制 attention 注意力分数 动手学深度学习v2

1. 注意力机制 attention

2. 注意力机制 attention 代码实现

3. 注意力分数

4. 注意力打分函数实现

5. Q&A

• 1. masked_softmax() 把填充padding的值，求softmax的时候，padding位置的值都设置为0.

参考

https://www.bilibili.com/video/BV1264y1i7R1?p=1