Attention变体：①FlashAttention（让语言模型拥有更长的上下文）、②Multi-Query Attention（更高效的推理）

基于 FlashAttention 技术，清华将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。

概述：

• 给 Transformer 配备更长的上下文仍然很困难，因为 Transformer 核心自注意力模块的时间复杂度以及内存复杂度在序列长度上是二次方的。

• FlashAttention是一种新的注意力机制，旨在解决Transformer在处理长序列时速度慢且内存需求大的问题。

• FlashAttention的创新之处在于引入了IO（输入/输出）感知的设计原则，专注于减少GPU内存（高带宽内存）和GPU片上内存（SRAM）之间的读写次数。它使用平铺（tiling）的方法来实现这一目标，从而降低了数据在不同级别存储器之间的传输次数。

• 此外，研究者还将FlashAttention扩展到块稀疏注意力&#x