Attention is all you need中Transformer方法

主要关注提出的Transformer，可以将不同的位置联系起来，计算相关注意力，而且不管两个信息的位置有多远，计算的复杂程度都是相同的

结构

$结构图$

由编码器和解码器构成，左边是编码器，右边是解码器。

编码器

将一系列表示符号 $(x_1,...,x_n)$映射成一系列连续的表示 $z=(z_1,...,z_n)$，由六个完全相同 $(N=6)$的层堆叠而成，每个层有两个子层: 第一个是多头self-attention机制，第二个是逐点的全连接前向传播网络。

在两个子层上面，都使用了正则化的残差连接，所以每个子层的输出都是 $LayerNorm(x+Sublayer(x))$，其中 $Sublayer(x)$是经过该子层后生成的值，为了方便做残差连接，模型中的所有的子层还有嵌入层的输出维度都是 $d_{model} = 512$

解码器

利用z来生成输出序列 $(y_1,...,y_m)$，一次一个,也是六个完全相同的 $(N=6)$的层堆叠而成，比编码器多了一个子层，这个子层和编码器的输出一起执行多头attention。

$比解码器多的子层$

还修改了解码器堆栈中的self-attention子层，以防止位置对后续位置的attention。
这种mask，加上输出嵌入被一个位置偏移的事实，确保了位置 $i$的预测只能依赖于小于 $i$的位置的已知输出，这个图能较好的表示Mask效果：

就是说当前位置的操作只能结合之前的信息，而不能依赖后面的信息对这个位置进行预测，使用Mask来将后面的位置信息都变成0
解码器就是将输出和编码后的输入一起处理，又得到一个输出，为什么这样的输出就是想要的？
找到了二者的联系？

---

Attention

attention函数可以看成将一个query和一系列key-value映射成一个输出。其中query、key-value还有输出都是向量，输出就是将值加权求和得来的，而这些权重是通过query和对应的key的兼容性函数得来的

兼容性就是说query和key之间越匹配，权重越大

Scaled Dot-Product Attention

这个计算是关注的重点

$图解$

$公式$

输入由 $queries、keys(d_k)、values(d_v)$组成，计算 $query$和所有 $keys$的点乘，然后除上 $\sqrt{d_k}$，然后再使用一个softmax函数来获得 $values$的权重

有内味儿了，在6DVNet中，V就是 $x_j$的特征信息，而 $Q,K$都是学习出来的矩阵点乘 $x_i$c处的信息。
为什么6DVNet可以做出这样的迁移？还是说这是一种很常见的使用方法？
要先知道和迁移，那就要知道式子的参数都是什么，

Multi-Head Attention

作者发现，使用不同的、学习的线性射影来进行h次queries、keys、values到 $d_k,d_k,d_v$维度的线性射影是有益的。

做了h次前向传播，每次的参数都不一样，然后把h次的结果和在一块了，再做线性射影

$Multi-Head\ Attention$

多头注意力允许模型在不同的位置共同关注来自不同表示子空间的信息。只有一个注意力头，平均就会抑制这种情况

说的真对，只有一个头每种信息都会对网络参数进行调整，调来调去干啥都不行，也就是 全能=全不能。
看看6DVnet是如何处理2D平面的位置的？

$MultiHead(Q,K,V)=Concat(head_1,...,head_h)W^o$
$head_i = Attention(QW_i^Q,KW_i^K,VW^V_i)$
其中 $W^Q_i \in R^{d_{model} \times d_k},W^K_i \in R^{d_{model} \times d_k},W^V_i \in R^{d_{model} \times d_v},W^O_i \in R^{hd_v \times d_{model}}$

作者设置 $h=8$，其他的 $d_k = d_v =\frac{d_{model}}{h} = 64$，因为每个头的参数减少了，所以总的计算量和一个头相似。

什么时候能这么做？同范畴不同类？

Position-wise Feed-Forward Networks

解码器和编码器的每一层都有个全连接，应用在每个位置都是独立的，参数不共享，包括两个线性变换，其中加了个ReLU函数：
$FFN(x) = max(0,xW_1 +b_1)W_2 + b_2$
就相当于有两个卷积核，输入和输出的维度都是512，中间的维度是2048

Positional Encoding

这一块是考虑到NLP的序列问题，如果是图像处理，或许是加入mesh层再卷积？