Halo2 学习笔记——背景资料之Polynomials（3）

1. 引言

令$A(X)$为基于${\mathbb{F}}_p$的degree-3多项式：
$A(X)=a_0+a_{1}X+a_2{X}^2+a_3{X}^3$
其中$a_0$称为constant term。

degree $n-1$的多项式，其有$n$个系数。

通常，将变量$X$替换为具体的值$x$，来计算相应的结果$A(x)$——数学上称为“evaluating $A(X)$ at a point $x$”。（注意，此处的point不要与椭圆曲线上的point混淆。）

多项式的主要属性有：

• $deg(A(X)B(X))=deg(A(X))+deg(B(X)),deg(A(X)/B(X))=deg(A(X))-deg(B(X))$
• 若$A(X)$的degree为$n-1$，则对该多项式的$n$个不同点进行evaluation，这些evaluation值可完全定义该多项式。换句话说，由这$n$个不同点的evaluation值，通过多项式插值获得唯一的degree为$n-1$的多项式$A(X)$。
• 多项式$A(X)$的系数表示法为：$[a_0,a_1,\cdots ,a_{n-1}]$，其点值表示法为：
  $[(x_0,A(x_0)),(x_1,A(x_1)),\cdots ,(x_{n-1},A(x_{n-1}))]$
  其中$x_0,x_1,\cdots ,x_{n-1}$为$n$个不同的值。
  这两种方式都可唯一定义同一多项式。

2. Horner’s rule

可借助Horner’s rule来对一个$n-1$ degree多项式进行高效evaluation，仅需$n-1$个乘法运算 + $n-1$个加法运算：
$a_0+a_{1}X+a_2{X}^2+\cdots +a_{n-1}{X}^{n-1}=a_0+X(a_1+X(a_2+\cdots +X(a_{n-2}+X{a}_{n-1})))$

3. FFT

FFT可将多项式的系数表示法 和 点值表示法 之间高效相互转换。

点值表示法时，evaluate的point为$n$-th roots of unity { w 0 , w 1 , ⋯   , w n − 1 } \{w^0,w^1,\cdots,w^{n-1}\} { w0,w1,⋯,wn−1}，其中$w$为a primitive $n$-th root of unity。

根据roots of unity的对城乡，FFT每轮运算将reduce the evaluation into a problem only half the size。因此，通常使用的多项式长度为some power of two，即$n=2^k$，从而可apply the halving reduction recursively。

3.1 将FFT用于快速多项式乘法

如需计算$A(X)\cdot B(X)=C(X)$，若采用系数表示法时，需要进行$O(n^2)$次运算：
$A(X)=a_0+a_{1}X+a_2{X}^2+\cdots +a_{n-1}{X}^{n-1}$
$B(X)=b_0+b_{1}X+b_2{X}^2+\cdots +b_{n-1}{X}^{n-1}$
$$\begin{gathered} C(X)=A(X)\cdot B(X)=a_0\cdot (b_0+b_{1}X+b_2{X}^2+\cdots +b_{n-1}{X}^{n-1}) \\ +a_{1}X\cdot (b_0+b_{1}X+b_2{X}^2+\cdots +b_{n-1}{X}^{n-1}) \\ +\cdots \\ +a_{n-1}{X}^{n-1}\cdot (b_0+b_{1}X+b_2{X}^2+\cdots +b_{n-1}{X}^{n-1}) \end{gathered}$$

若采用点值表示法，则多项式乘法仅需$O(n)$次运算：
A ： { ( x 0 , A ( x 0 ) ) , ( x 1 , A ( x 1 ) ) , ⋯   , ( x n − 1 , A ( x n − 1 ) ) } A：\{(x_0,A(x_0)), (x_1,A(x_1)),\cdots,(x_{n-1}, A(x_{n-1}))\} A：{ (x0​,A(x0​)),(x1​,A(x1​)),⋯,(xn−1​,A(xn−1​))}
B ： { ( x 0 , B ( x 0 ) ) , ( x 1 , B ( x 1 ) ) , ⋯   , ( x n − 1 , B ( x n − 1 ) ) } B：\{(x_0,B(x_0)), (x_1,B(x_1)),\cdots,(x_{n-1}, B(x_{n-1}))\} B：{ (x0​,B(x0​)),(x1​,B(x1​)),⋯,(xn−1​,B(xn−1​))}
C ： { ( x 0 , A ( x 0 ) B ( x 0 ) ) , ( x 1 , A ( x 1 ) B ( x 1 ) ) , ⋯   , ( x n − 1 , A ( x n − 1 ) B ( x n − 1 ) ) } C：\{(x_0,A(x_0)B(x_0)), (x_1,A(x_1)B(x_1)),\cdots,(x_{n-1}, A(x_{n-1})B(x_{n-1}))\} C：{ (x0​,A(x0​)B(x0​)),(x1​,A(x1​)B(x1​)),⋯,(xn−1​,A(xn−1​)B(xn−1​))}
其中$C$中的值是直接multiplied pointwise的。

进行快速多项式乘法运算的主要步骤为：

• 1）Evaluate polynomials at all $n$ points。
• 2）Perform fast pointwise multiplication in the evaluation representation $O(n)$。
• 3）将结果再转换为系数表示法（通过IFFT）。

主要难点在于高效的对多项式进行evaluate和插值。
直观地，evaluate a polynomial at $n$ points需要$O(n^2)$次运算（每个point采用Horner’s rule需$O(n)$次运算，$n$个point对应为$O(n^2)$次运算）：
$\left[\begin{array}{c}A(1)\\ A(w)\\ A(w^2)\\ ⋮\\ A(w^{n-1})\end{array}\right]=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^{2\cdot 2}& \cdots & w^{2\cdot (n-1)}\\ ⋮& ⋮& ⋮& & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right]\cdot \left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ ⋮\\ a_{n-1}\end{array}\right]$

可将以上多项式表示为：
$\hat{\mathbf{A}}={\mathbf{V}}_w\cdot \mathbf{A}$
其中$\hat{\mathbf{A}}$可称为$\mathbf{A}$的离散傅里叶变换（DFT），${\mathbf{V}}_w$称为Vandermonde matrix。

3.2 The (radix-2) Cooley-Tukey algorithm

将size为$n$的DFT分为2个交错的size为$n/2$的DFT。
对于多项式$A(X)=a_0+a_{1}X+a_2{X}^2+\cdots +a_{n-1}{X}^{n-1}$，可将其分为奇数项和偶数项：
$A_{even}=a_0+a_{2}X+\cdots +a_{n-2}{X}^{n/2-1}$
$A_{odd}=a_1+a_{3}X+\cdots +a_{n-1}{X}^{n/2-1}$
然后基于此，有$A(X)=A_{even}(X^2)+X{A}_{odd}(X^2)$

对$A(X)$ evaluate at points $w_n^i,w_n^{\frac{n}{2}+i}$，其中$i\in [0,\cdots ,\frac{n}{2}-1]$，有：
$A(w_n^i)=A_{even}((w_n^i{)}^2)+w_n^i{A}_{odd}((w_n^i{)}^2)$
$$\begin{gathered} A(w_n^{\frac{n}{2}+i})=A_{even}((w_n^{\frac{n}{2}+i}{)}^2)+w_n^{\frac{n}{2}+i}{A}_{odd}((w_n^{\frac{n}{2}+i}{)}^2) \\ =A_{even}((-w_n^i{)}^2)-w_n^i{A}_{odd}((-w_n^i{)}^2)【\leftarrow (根据negationlemma)】 \\ =A_{even}((w_n^i{)}^2)-w_n^i{A}_{odd}((w_n^i{)}^2) \end{gathered}$$

由上可看出，两者存在一定的对称性。仅需evaluate $A_{even}$和$A_{odd}$ over half the domain $(w_n^0{)}^2,(w_n{)}^2,\cdots ,(w_n^{\frac{n}{2}-1}{)}^2$，其中$i=[0,\cdots ,\frac{n}{2}-1]$（根据halving lemma）。
即意味着，可将length-$n$ DFT 转换为 2个length-$\frac{n}{2}$ DFTs。

当$n=2^k$时（为power of two，若不够可zero-padding），然后递归使用divide-and-conquer策略。根据Master Theorem，相应的evaluation算法仅需$O(n{\log }_{2}n)$次运算，也称为Fast Fourier Transform (FFT)。

3.3 Inverse FFT

至此，已完成polynomial evaluation 和 multiply pointwise，现在需要将$C(X)=A(X)\cdot B(X)$由 点值表示法 转换为 系数表示法。仅需，在点值表示法 上进行FFT运算：

• 1）将Vandermonde matrix中的$w^i$替换为$w^{-i}$
• 2）将最终结果乘以$1/n$

即：
$\mathbf{A}=\frac{1}{n}{\mathbf{V}}_{w^{-1}}\cdot \hat{\mathbf{A}}$

IFFT与FFT具有类似的格式，详细参见 The Fast Fourier Transform and Polynomial Multiplication。

4. The Schwartz-Zippel lemma

The Schwartz-Zippel lemma表达的是“different polynomials are different at most points”：
令$p(x_1,x_2,\cdots ,x_n)$为nonzero polynomial of $n$ variables with degree $d$，令$S$为a finite set of numbers with at least $d$ elements in it。若从$S$中随机选出${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$，则有：
$\text{Pr}[p({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)=0]\le \frac{d}{|S|}$

对于degree为$d$的单变量非零多项式$p(X)$，即意味着最多有$d$个根。

The Schwartz-Zippel lemma用于polynomial equality testing：
已知2个多变量多项式，$p_1(x_1,\cdots ,x_n)$的degree为$d_1$，$p_2(x_1,\cdots ,x_n)$的degree为$d_2$，可随机选择${\alpha }_1,\cdots ,{\alpha }_n\leftarrow S$，其中$|S|\ge (d_1+d_2)$，测试$p_1({\alpha }_1,\cdots ,{\alpha }_n)-p_2({\alpha }_1,\cdots ,{\alpha }_n)=0$是否成立。若$p_1,p_2$这两个多项式完全相同，必然成立。若两者不同，则该等式成立的概率不高于$\frac{max(d_1,d_2)}{|S|}$。

5. Vanishing polynomial

对于order $n$ multiplicative subgroup $\mathcal{H}$ with primitive root of unity $w$，对于所有的$w^i\in \mathcal{H},i\in [n-1]$，有$(w^i{)}^n=(w^n{)}^i=(w^0{)}^i=1$，换句话说：
$Z_H(X)=X^n-1=(X-w^0)(X-w^1)(X-w^2\cdots (X-w^{n-1})$
$\mathcal{H}$中的每个元素为$Z_H(X)$的根。称$Z_H(X)$为the vanishing polynomial over $\mathcal{H}$，因为其evaluate to zero on all elements of $\mathcal{H}$。

vanishing polynomial 用于验证polynomial constraints时将特别实用。如，为了验证$A(X)+B(X)=C(X)$ over $\mathcal{H}$，可改为验证 $A(X)+B(X)-C(X)$为 some multiple of $Z_H(X)$。换句话说，若将constraints除以vanishing polynomial，仍然可产生某多项式$\frac{A(X)+B(X)-C(X)}{Z_H(X)}=H(X)$，则可说明$A(X)+B(X)-C(X)=0$ over $\mathcal{H}$。

6. Lagrange basis functions

多项式通常以monomial basis（如$X,X^2,\cdots ,X^n$）来表示，但是，当机遇multiplicative subgroup of order $n$时，采用Lagrange basis表示更自然。

对于order-$n$ multiplicative subgroup $\mathcal{H}$ with primitive root of unity $w$，该subgroup的Lagrange basis为a set of functions { L i } i = 0 n − 1 \{\mathcal{L}_i\}_{i=0}^{n-1} { Li​}i=0n−1​，其中：
${\mathcal{L}}_i(w^j)=\{\begin{array}{cc}1& \text{if }i=j,\\ 0& \text{otherwise.}\end{array}$

可将${\mathcal{L}}_i(w^j)$更精简的表示为${\delta }_{ij}$，其中$\delta$为the Kronecker delta function。

至此，可将多项式表示为a linear combination of Lagrange basis functions：
$A(X)={\sum }_{i=0}^{n-1}{a}_i{\mathcal{L}}_i(X),X\in \mathcal{H}$
即等价为说，$p(X)$ evaluates to $a_0$ at $w^0$, to $a_1$ at $w^1$, to $a_2$ at $w^2$等等。

当基于multiplicative subgroup时，Lagrange basis function具有很方便的sparse表示形式：
${\mathcal{L}}_i(X)=\frac{c_i\cdot (X^n-1)}{X-w^i}$
其中$c_i$为barycentric weight。详细可参看Barycentric Lagrange Interpolation*。
当$i=0$时，有$c=1/n\Rightarrow {\mathcal{L}}_0(X)=\frac{1}{n}\frac{(X^n-1)}{X-1}$。

对于evaluation point set { x 0 , x 1 , ⋯   , x n − 1 } \{x_0,x_1,\cdots,x_{n-1}\} { x0​,x1​,⋯,xn−1​}，若不假设$x_i$为multiplicative subgroup，仍可采用Lagrange 多项式${\mathcal{L}}_i$来表示：
${\mathcal{L}}_i(X)={\prod }_{j\ne i}\frac{X-x_j}{x_i-x_j},i\in [0..n-1]$

对于每个$X=x_j\ne x_i$，都有零分子项$(x_j-x_j)$，从而使整个值为0。若$X=x_i$，有$\frac{x_i-x_j}{x_i-x_j}$，结果为1。从而可实现desired Kronecker delta behaviour ${\mathcal{L}}_i(x_j)={\delta }_{ij}$ on the set { x 0 , x 1 , ⋯   , x n − 1 } \{x_0,x_1,\cdots,x_{n-1}\} { x0​,x1​,⋯,xn−1​}。

6.1 Lagrange interpolation

已知多项式的点值表示：
A : { ( x 0 , A ( x 0 ) ) , ( x 1 , A ( x 1 ) ) , ⋯   , ( x n − 1 , A ( x n − 1 ) ) } A: \{(x_0,A(x_0)), (x_1,A(x_1)), \cdots, (x_{n-1},A(x_{n-1}))\} A:{ (x0​,A(x0​)),(x1​,A(x1​)),⋯,(xn−1​,A(xn−1​))}

可基于Lagrange basis来构建其 系数表示：
$A(X)={\sum }_{i=0}^{n-1}A(x_i){\mathcal{L}}_i(X)$
其中 X ∈ { x 0 , x 1 , ⋯   , x n − 1 } X\in\{x_0,x_1,\cdots,x_{n-1}\} X∈{ x0​,x1​,⋯,xn−1​}。

参考资料

[1] Halo2 背景资料之Polynomials