Transformer的计算复杂度

Transformer的计算复杂度主要取决于它的参数数量。它的复杂度主要取决于每个头的参数数量，每个头的参数数量为O(d^2)，其中d为输入的维度。因此Transformer的复杂度为O(hd^2)，其中h为头的数量。