多头注意力机制的通俗式理解

各位都很忙,废话不多说直接上图。
多头注意力

首先 Q K V 均来自同一个数据,
假设 我们有同一个 输入数据 a,

Q = Linear(a)
K = Linear(a)
V = Linear(a)
其中,三个 Linear(·)并非同一个,拥有不同的参数。
Q 代表 query – 查询, K 代表 key – 键, V 代表 value – 值
我们目的 是从同一个 数据 a 中生成 含义为: 查询 某一个 对应的 权重,
然后使用这个 权重 乘以 得到 经过权重分配后的 数据 a 的表示。
即 Q 乘以 K 的转置 得到的是 一个权重,这就是为什么 上图中 为什么还要经过 softmax,然后 权重 乘以 V 得到 经过 权重注意力的 数据。

猜你喜欢

转载自blog.csdn.net/q506610466/article/details/121416908