快速乘法技巧：Karatsuba, Toom, Good, Schonhage, Strassen, Nussbaumer

参考文献：

1. [Ber01] Bernstein D J. Multidigit multiplication for mathematicians[J]. Advances in Applied Mathematics, 2001: 1-19.
2. FFT/NTT：以 CRT 的视角

Map & Lift

[Ber01] 详细地调研了上百篇有关各类乘法算法的文献，以环同构的视角解释这些算法。

Mapping

映射：给定两个环 $R,A$，它们的环同态 $\psi :R\to A$ 称为 “mapping $R$ to $A$”

• 如果 $\psi$ 是单的，那么容易求逆
• 如果 $\psi$ 不是单的，一般地只需提供 $r$ 的少量辅助信息，就可以从 $\psi (r)$ 恢复出 $r$

例如：

1. $m\in R[x]$ 是首一多项式，那么 $r,s\in R[x]$ 的乘法，它可以 mapping 到商环 $R[x]/(m)$ 中，计算出 $r\cdot s(\mathrm{mod}m)$
   1. 如果 $\mathrm{deg}m>\mathrm{deg}r+\mathrm{deg}s$，那么计算结果是正确的
   2. 如果 $\mathrm{deg}m=\mathrm{deg}r+\mathrm{deg}s$，那么只需要知道前导系数 $r_{\mathrm{deg}r}$ 和 $s_{\mathrm{deg}s}$，就可以恢复出 $rs=r_{\mathrm{deg}r}\cdot s_{\mathrm{deg}s}\cdot m+(r\cdot s(\mathrm{mod}m))$，这被称为 “evaluation at $\infty$”
2. 对于 $r,s\in \mathbb{Z}[x]$，可以选取足够大的 $M\in \mathbb{Z}$，利用 $x\mapsto M$ 环同态，计算出 $r(M),s(M)\in \mathbb{Z}$，然后在整数上计算出 $r(M)s(M)$。根据柯西不等式，满足 $M\ge \sqrt{({\sum }_i{r}_i^2)({\sum }_j{s}_j^2)}$ 即可使得 $r(M)s(M)=(rs)(M)$

Lifting

提升：令 $I$ 是环 $R$ 的理想，自然的环嵌入 $r+I\mapsto r^{\prime },\forall (r-r^{\prime })\in I$ 称为 “lifting $R/I$ to $R$”

例如：

1. 整数的 Base-$B$ clumping：将整数环 $\mathbb{Z}$ 同构映射到 $\mathbb{Z}[y]/(B-y)$，然后提升到多项式环 $\mathbb{Z}[y]$

2. 多项式的 Degree-$n$ clumping（聚合）：将多项式环 $R[x]$ 同构映射到 $R[x][y]/(y-x^n)$，然后提升到 $R[x][y]$，它形如
   $$f=\sum _{i=0}^{kn-1}{f}_i{x}^i=\sum _{i=0}^{k-1}\left(\sum _{j=0}^{n-1}{f}_{ni+j}\cdot x^j\right)\cdot y^i$$
   将连续 $n$ 个相邻系数，打包到环 $R[x]$ 上的度数小于 $n$ 的多项式

3. 多项式的 Degree-$n$ striding（跨步）：将多项式环 $R[x]$ 同构映射到 $R[y][x]/(x^n-y)$，然后提升到 $R[y][x]$，它形如
   $$f=\sum _{i=0}^{kn-1}{f}_i{x}^i=\sum _{i=0}^{n-1}\left(\sum _{j=0}^{k-1}{f}_{i+nj}\cdot y^j\right)\cdot x^i$$
   将间隔 $n$ 的系数，打包到环 $R[y]$ 上的度数小于 $k$ 的多项式

Karatsuba’s trick

为了计算 $R[x]$ 内的线性函数 $a=a_0+a_{1}x$ 和 $b=b_0+b_{1}x$ 的乘积，
$$\psi :R[x]\to R[x]/(x^2-x)\cong R[x]/(x)\times R[x]/(x-1)$$
其中的 CRT 基是 { 1 − x , x } \{1-x,x\} { 1−x,x}，辅助信息 $u=a_1{b}_1$

那么就有：
$$\begin{array}{rl}a& \mapsto (a_0,a_0+a_1)\\ b& \mapsto (b_0,b_0+b{a}_1)\\ ab& =a_0{b}_0\cdot (1-x)+(a_0+a_1)(b_0+b_1)\cdot x+u\cdot (x^2-x)\end{array}$$
Karatsuba multiplication for integers：给定两个整数 $0\le a,b<2^{2n}$，

1. 先将 $\mathbb{Z}$ 映射到 $\mathbb{Z}[y]/(2^n-y)$，再提升到 $\mathbb{Z}[y]$，此时 $a(y),b(y)$ 是线性多项式
2. 利用 Karatsuba’s trick，计算它们的乘积 $a(y)\cdot b(y)\in \mathbb{Z}[y]$
3. 最后带入 $y=2^n$，回到 $ab\in \mathbb{Z}$

Karatsuba multiplication for polynomials：给定两个多项式 $a,b\in R[x]$，满足 $\mathrm{deg}a,\mathrm{deg}b<2n$

1. 先将 $R[x]$ 度 $n$ 聚合为 $R[x][y]/(y-x^n)$ 并提升，此时 $a(y),b(y)$ 是关于 $y$ 线性多项式
2. 利用 Karatsuba’s trick，计算它们的乘积 $a(y)\cdot b(y)\in (R[x])[y]$
3. 最后带入 $y=x^n$，回到 $ab\in R[x]$

Dual Karatsuba multiplication：

1. 先将 $R[x]$ 度 $2$ 跨步为 $R[y][x]/(x^2-y)$ 并提升，此时 $a(x),b(x)$ 是关于 $x$ 的线性多项式
2. 利用 Karatsuba’s trick，计算它们的乘积 $a(x)\cdot b(x)\in (R[y])[x]$
3. 最后带入 $y=x^2$，回到 $ab\in R[x]$

对于 CRT 分解后的小环 $R[x]/(x),R[x]/(x-1)$ 上的乘法，递归地使用 Karatsuba multiplication，可以达到 $O(n^{\log 3})$ 复杂度。这是第一个优于 $n^2$ 的算法。

Toom’s trick

Toom 推广了 Karatsuba 技巧。为了计算 $R[x]$ 内次数小于 $k$ 的多项式的乘积，假设 $2,3,\cdots ,2(k-1)$ 是环 $R$ 上可消去的，那么
$$\psi :R[x]\to R[x]/(x-(-k+1))(x-(-k+2))\cdots (x-(k-1))$$
继续做 CRT 分解，可以得到 $2k-1$ 个小环。在 CRT 域下计算乘法，然后用 CRT basis 合成，然后提升回 $R[x]$

Toom multiplication for integers：对于 $0\le a,b\le 2^{kn}-1$，先执行基 $2^n$ 聚合，得到次数小于 $k$ 的多项式，然后利用 Toom’s trick 计算多项式乘积。以 $k=3$ 为例，
$$\mathbb{Z}\to \mathbb{Z}[y]/(2^n-y)\to Z[y]/(y^5-5y^3+4y)$$
然后做 CRT 分解
$$Z[y]/(y^5-5y^3+4y)\cong \prod _{t=-2}^2\mathbb{Z}[y]/(y-t)$$
这里的小环 $\mathbb{Z}[y]/(y-t)\cong \mathbb{Z}[2^n]/(2^n-t)$，既可以按照多项式乘法，也可以按照整数乘法。

Toom multiplication for polynomials：对于 $\mathrm{deg}a,\mathrm{deg}b\le kn-1$，先执行度 $n$ 聚合，得到次数小于 $k$ 的多项式，然后利用 Toom’s trick 计算多项式乘积

Dual Toom multiplication：对于 $\mathrm{deg}a,\mathrm{deg}b\le kn-1$，先执行度 $k$ 跨步，得到次数小于 $k$ 的多项式，然后利用 Toom’s trick 计算多项式乘积

对于 CRT 分解后的小环 $R[x]/(x-t),t=-k+1,\cdots ,k-1$ 上的乘法，递归地使用 Toom multiplication，可以达到 $n\exp \left(O(\sqrt{\log n})\right)$ 复杂度。这是第一个达到 $\tilde{O}(n)$ 的算法。

FFT trick

如果 $b\in R$ 满足 $2b$ 是可逆的，那么下面的映射是 CRT 可逆的，
$$R[x]/(x^{2n}-b^2)\to R[x]/(x^n-b)\times R[x]/(x^n+b)$$
FFT：假如存在 $\zeta \in R$ 满足 ${\zeta }^n=-1$，那么递归地对 $R[x]/(x^{2n}-1)$ 使用 FFT trick，可以达到 $O(n\log n)$ 复杂度。注意，只要任意的环 $R$ 中存在 $\zeta$ 即可，不需要它成为域。

twisted FFT：将环 $R[x]/(x^{2n}-1)$ 分解为 $R[x]/(x^n-1)$ 和 $R[x]/(x^n+1)$，然后采用同构映射 $x\mapsto \zeta y$，将后者扭曲为
$$R[x]/(x^n+1)\cong R[y]/(y^n-1)$$
接下来的递归 FFT 只需考虑形如 $(x^n-1),(y^n-1)$ 的分解，实现更加简单

split-radix FFT：假如存在 $\zeta \in R$ 满足 ${\zeta }^{2n}=-1$，简记 $i={\zeta }^n$，执行如下形式的分解
$$R[x]/(x^{4n}-1)\to R[x]/(x^{2n}-1)\times R[x]/(x^n-i)\times R[x]/(x^n+i)$$
接着，

• 对于 $R[x]/(x^n-i)$ 采取同构 $x\mapsto \zeta y$，扭曲为 $R[y]/(y^n-1)$
• 对于 $R[x]/(x^n+i)$ 采取同构 $x\mapsto {\zeta }^{3}z$，扭曲为 $R[z]/(z^n-1)$

现在我们得到了
$$R[x]/(x^{4n}-1)\to R[x]/(x^{2n}-1)\times R[y]/(y^n-1)\times R[z]/(z^n-1)$$
radix-3 FFT：如果存在 $w\in R$ 满足 $1+w+w^2=0$，并且 $b\in R$ 满足 $3b^2$ 是可逆的，那么如下的分解是 CRT 可逆的，
$$R[x]/(x^{3n}-b^3)\to R[x]/(x^n-b)\times R[x]/(x^n-wb)\times R[x]/(x^n-w^{2}b)$$
使用场景：

1. 使用 FFT 实现 InvFFT 不是个好主意，数据移动明显偏多
2. 递归形式的 FFT，各个小环的存储大小更加适配 Cache，因此一般会比迭代形式的 FFT 更快
3. 特征 $2$ 的环 $R$，应当使用 radix-3 FFT

Good’s trick

假设 $\gcd (m,n)=1$，那么 ${\mathbb{Z}}_{mn}^{\ast }\cong {\mathbb{Z}}_m^{\ast }\times {\mathbb{Z}}_n^{\ast }$，映射 $a\to (b,c)$ 的逆是 $a=b^{\prime }{c}^{\prime }$，其中的 $b^{\prime },c^{\prime }\in {\mathbb{Z}}_{mn}^{\ast }$ 是满足 $b^{\prime }\equiv b(\mathrm{mod}m)$ 和 $c^{\prime }\equiv c(\mathrm{mod}n)$ 的恰当代表元。

假如 $x$ 是 $mn$ 次本原单位根，$y,z$ 分别是 $m,n$ 次本原单位根，因此 $yz$ 也是一个 $mn$ 次本原单位根。映射 $x\mapsto yz$，导致了如下的同构：
$$R[x]/(x^{mn}-1)\cong (R[y]/(y^m-1))[z]/(z^n-1)$$
对于 $f={\sum }_i{f}_i{x}^i\in R[x]/(x^{mn}-1)$，具体的转化为：
$$\begin{array}{rl}f(x)& \mapsto \sum _{i=0}^{mn-1}{f}_i\cdot (yz{)}^i\\ & =\sum _{i=0}^{mn-1}{f}_i\cdot y^{i(\mathrm{mod}m)}{z}^{i(\mathrm{mod}n)}\\ & =\sum _{i=0}^{n-1}\left(\sum _{j=0}^{m-1}{f}_{i+nj}\cdot y^{i+nj(\mathrm{mod}m)}\right)\cdot z^i\end{array}$$
Good’s trick 往往和 FFT 组合使用，减少 Padding 长度（FFT 要求长度是二的幂次）

Manufacturing Roots of Unit

为了对 $f\in R[x]$ 使用 FFT，必须要求环 $R$ 中存在恰当的本原单位根。如果不存在，最简单的思路就是通过环扩张，使得在 $R[y]$ 中存在，然后将系数从 $R$ 提升到 $R[y]$ 中，得到 $f\in (R[y])[x]$，虽然 $f_i\in R\subseteq R[y]$。

注意到如果存在 $\zeta \in R$，它已经是 $n$ 次单位根，那么扩环 $R[y]/(y^t-\zeta )$ 中的 $y$ 就是 $nt$ 次单位根。这通过已有的单位根，减少了环的扩张次数（如果简单使用 $(y^{nt}-1)$，这扩张了 $nt$ 次）。对于 $\mathbb{Z}[x]$ 来说，系数的环可以是 $\mathbb{Z}/(t)$（充分大的模数 $t$，不必是素的），也可以是 $\mathbb{C}$（环 $\mathbb{Z}$ 的扩张，但是精度受限），只要能够找出单位根，并且要求数据不发生溢出。

不过，也可以通过对多项式变换，通过把一些系数打包在一起，构造出系数的环 $R[y]$（直接找出了单位根），而非简单的提升。

Schonhage-Strassen trick

对于整数环 $\mathbb{Z}/(2^{mn}+1)$，将它同构映射为 $(\mathbb{Z}[y]/(y^n+1))/(2^m-y)$，其中的整系数不大于 $2^m$。我们将它提升到 $\mathbb{Z}[y]/(y^n+1)$，接着可以再映射到 $(\mathbb{Z}/(2^{nk}+1))[y]/(y^n+1)$，于是：
$$\mathbb{Z}/(2^{mn}+1)\cong \mathbb{Z}[y]/(y^n+1,2^m-y)\stackrel{\mathbf{lift}}{\to }\mathbb{Z}[y]/(y^n+1)\stackrel{\mathbf{map}}{\to }{\mathbb{Z}}_{2^{nk}+1}[y]/(y^n+1)$$
预先确定参数 $m,n,k$ 的取值，只要满足 $2^{nk}>n\cdot 2^{2m}$，那么 $\mathbb{Z}/(2^{nk}+1)$ 就可以正确模拟大小为 $2^m$ 的 $n$ 个系数的（反）卷积。

特别地，在 $\mathbb{Z}/(2^{nk}+1)$ 中的 $2^k$，它就是 $2n$ 次本原单位根！因此，

1. 可以对 ${\mathbb{Z}}_{2^{nk}+1}[y]/(y^n+1)$ 执行 FFT 算法，计算乘法
2. 将乘积提升回 $\mathbb{Z}[y]/(y^n+1)$，它是正确计算的
3. 带入 $y=2^m$ 得到 $\mathbb{Z}/(2^{nm}+1)$ 中的最终结果

Cyclic 变体：整数环 $\mathbb{Z}/(2^{2mn}-1)$，同构于 $(\mathbb{Z}[y]/(y^{2n}-1))/(2^m-y)$，提升后再映射为 $(\mathbb{Z}[y]/(y^{2n}-1))/(y^{2n}-1)$

Schonhage’s trick

对于多项式环 $R[x]/(x^{mn}+1)$，做如下的同构映射
$$R[x]/(x^{mn}+1)\cong R[x][y]/(y^n+1,x^m-y)$$
它关于 $x$ 的次数小于 $m$，我们将它提升到 $R[x][y]/(y^n+1)$，然后再做同态映射
$$R[x][y]/(y^n+1)\to (R[x]/(x^{nk}+1))[y]/(y^n+1)$$
预先确定参数 $m,n,k$ 的取值，只要满足 $nk>2m-2$，那么 $R[x]/(x^{nk}+1)$ 就可以正确模拟长度为 $m$ 的多项式的乘积。

特别地，在 $R[x]/(x^{nk}+1)$ 中的 $x^k$，它就是 $2n$ 次本原单位根！因此，我们对环 $(R[x]/(x^{nk}+1))[y]/(y^n+1)$ 做 FFT，计算乘积之后，经过反序的 lift 和 map，回到 $R[x]/(x^{mn}+1)$ 上。

Cyclic 变体：多项式环 $R[x]/(x^{2mn}-1)$，同构于 $R[x][y]/(y^{2n}-1,x^m-y)$，提升后再映射为 $(R[x]/(x^{nk}+1))[y]/(y^{2n}-1)$

Radix-3 变体：对于多项式环 $R[x]/(x^{2mn}+x^{mn}+1)$，映射为
$$R[x][y]/(y^{2n}+y^n+1,x^m-y)\stackrel{\mathbf{lift}}{\to }R[x][y]/(y^{2n}+y^n+1)\stackrel{\mathbf{map}}{\to }(R[x]/(z^{2nk}+x^{nk}+1))[y]/(y^{2n}+y^n+1)$$
其中 $x^{nk}\in R[x]/(z^{2nk}+x^{nk}+1)$ 是 $3$ 次单位根，于是就有分解
$$y^{2n}+y^n+1=(y^n-x^{nk})(y^n-x^{2nk})$$
另外 $x^k$ 是 $2n$ 次本原单位根，从而可以对它们继续执行 FFT 算法。

Nussbaumer’s trick

对于多项式环 $R[x]/(x^{mnk}+1)$ 做跨步，得到同构
$$R[y][x]/(y^{nk}+1,x^m-y)\cong (R[y]/(y^{nk}+1))[x]/(x^m-y)$$
系数的范围是 $R[y]/(y^{nk}+1)$，而关于 $x$ 的度数小于 $m$，将它提升后，再同态映射：
$$(R[y]/(y^{nk}+1))[x]/(x^m-y)\stackrel{\mathbf{lift}}{\to }(R[y]/(y^{nk}+1))[x]\stackrel{\mathbf{map}}{\to }(R[y]/(y^{nk}+1))[x]/(x^{2n}-1)$$
选取参数 $m,n,k$，只要满足 $n\ge m$，那么后者就可以正确模拟 $(R[y]/(y^{nk}+1))[x]/(x^m-y)$，从而计算出 $R[x]/(x^{mnk}+1)$

特别地，$y^k\in R[y]/(y^{nk}+1)$ 就是 $2n$ 次本原单位根，从而可以执行 FFT 算法。

Radix-3 变体：对于多项式环 $R[x]/(x^{2mnk}+x^{mnk}+1)$，映射为
$$(R[y]/(y^{2nk}+y^{nk}+1))[x]/(x^m-y)\stackrel{\mathbf{lift}}{\to }(R[y]/(y^{2nk}+y^{nk}+1))[x]\stackrel{\mathbf{map}}{\to }(R[y]/(y^{2nk}+y^{nk}+1))[x]/(x^{3n}-1)$$
其中的 $y^{nk}\in R[y]/(y^{2nk}+y^{nk}+1)$ 是 $3$ 次单位根，并且 $y^k$ 是 $3n$ 次单位根。

Cantor-Kaltofen theorem

对于任意的环 $R$，为了快速计算 $a\cdot b\in R$，可以通过 radix-2 和 radix-3 分别计算两遍，得到 $a\cdot b$ 的缩放结果，然后由于 $\gcd (2,3)=1$，从而可以将它们组合出最终结果。

令整数 $e\ge 1,m\ge 1$，满足 $2^{e-1}<m\le 2^e$，给定两个多项式 $a,b\in R[x]$，那么，

第一步：令 $k=\lceil m/2\rceil$，计算 $K=2^k,M=2^m,E=2^e$，定义 $A=R[y]/(y^K+1)$。如果 $m$ 是偶数（此时 $M/K=K=2^{m/2}$），则 $y$ 就是 $2M/K$ 次本原单位根；如果 $m$ 是奇数（此时 $M/K=2^{(m-1)/2}$ 而 $K=2^{(m+1)/2}$），则 $y^2$ 就是 $2M/K$ 次本原单位根。总之，本原单位根存在。

1. 利用 Nussbaumer，将 $R[x]/(x^M+1)$ 映射到 $A[x]/(x^{M/K}-y)$，然后提升并再次映射到 $A[x]/(x^{2M/K}-1)$
2. 利用 $2M/K$ 次本原单位根，$y\in A$ 或者 $y^2\in A$，执行环 $A$ 上的 FFT 算法，将 $a,b$ 转换到 FFT 域
3. 在 FFT 域上计算阿达玛乘法，每个系数都是 $A$ 中元素。我们递归地使用本算法，导致了缩放因子 $KE/4$（看下一步的解释）
4. 逆 FFT（忽略结束时的缩放因子），逆 Nussbaumer（数据置换）。由于环 $R$ 中的因子 $2M/K$ 不一定可逆，我们只能得到缩放的结果。
5. 最终，计算出 $2^{m+e-1}\cdot ab\in R[x]/(x^{2^m}+1)$，总的缩放因子是 $(2M/K)(KE/4)=ME/2=2^{m+e-1}$

第二步：令 $k=\lceil m/2\rceil$，计算 $K=3^k,M=3^m,E=3^e$，定义 $A=R[y]/(y^{2K}+y^K+1)$。如果 $m$ 是偶数（此时 $M/K=K=3^{m/2}$），则 $y$ 就是 $3M/K$ 次本原单位根；如果 $m$ 是奇数（此时 $M/K=3^{(m-1)/2}$ 而 $K=3^{(m+1)/2}$），则 $y^3$ 就是 $3M/K$ 次本原单位根。总之，本原单位根存在。

1. 利用 radix-3 Nussbaumer，将 $R[x]/(x^{2M}+x^M+1)$ 映射到 $A[x]/(x^{M/K}-y)$，然后提升并再次映射到 $A[x]/(x^{2M/K}+x^{M/K}+1)$
2. 利用 $3M/K$ 次本原单位根，$y\in A$ 或者 $y^3\in A$，执行环 $A$ 上的 radix-3 FFT 算法，将 $a,b$ 转换到 FFT 域
3. 在 FFT 域上计算阿达玛乘法，每个系数都是 $A$ 中元素。我们递归地使用本算法，导致了缩放因子 $KE/9$（看下一步的解释）
4. 逆 FFT（忽略结束时的缩放因子），逆 Nussbaumer（数据置换）。由于环 $R$ 中的因子 $3M/K$ 不一定可逆，我们只能得到缩放的结果。
5. 最终，计算出 $3^{m+e-1}\cdot ab\in R[x]/(x^{3^m}+1)$，总的缩放因子是 $(3M/K)(KE/9)=ME/3=3^{m+e-1}$

第三步：给定 $a,b\in R[x]$，满足 $\mathrm{deg}a+\mathrm{deg}b<n$，

1. 我们选取参数 $m,m^{\prime }$，使得两个商环的多项式度数 $2^m>n,2\times 3^{m^{\prime }}>n$ 足够大，计算 $e=\lceil \log m\rceil ,e^{\prime }=\lceil \log m^{\prime }\rceil$
2. 利用上述两个算法，计算出 $2^{m+e-1}\cdot ab\in R[x]/(x^{2^m}+1)$ 以及 $3^{m^{\prime }+e^{\prime }-1}\cdot ab\in R[x]/(x^{2^{m^{\prime }}}+1)$，提升到 $R[x]$
3. 因为 $\gcd (2^{m+2-1},3^{m^{\prime }+e^{\prime }-1})=1$，因此存在 $v<3^{m^{\prime }+e^{\prime }-1},u<2^{m+e-1}$，使得 $3^{m^{\prime }+e^{\prime }-1}u-2^{m+e-1}v=1$，从而得到 $ab=u\cdot 3^{m^{\prime }+e^{\prime }-1}\cdot ab-v\cdot 2^{m+e-1}\cdot ab$
4. 本算法的复杂度为：$(8+36/\log 3)n\log n$ 次基环 $R$ 的乘法，$(12+54/\log 3)n\log n\log (16\log n)$ 次基环 $R$ 的加法，总体上是 $O(n\log n)$

不过，虽然上述算法支持任意的环 $R$ 下的 $R[x]$ 中多项式的快速乘法，但是实际效率存疑。如果基环 $R$ 的性质足够好（存在恰当的本原根，缩放因子可逆），那么还是 FFT 以及它的 Nussbaumer 等变体的效率更好。

Implementation

• 执行多项式环的分解时，不同 level 应当选取恰当的方法，不应局限于单一的算法
• 数据应当维持在 Transformed Versions，不要频繁执行多项式变换
• 平方的计算，相对于一般乘法，其存储开销更低。对于资源受限的，可以计算 $ab=((a+b{)}^2-(a-b{)}^2)/4$，用时间换空间