CKKS的Encoding(CKKS方案的编码部分的笔记)

为什么会有这篇文章

在我参与工作的时候，这边就已经把CKKS的源码都写好了，没有能够自己实现一遍，导致目前对CKKS的Encoding方法一知半解。于是趁着有空来梳理一下。
首先看一下Daniel Huynh大佬的讲解，CKKS的上层框架。

是将$N/2$个复数$m\in {\mathbb{C}}^{N/2}$编码到一个$\mathbb{Z}[X]/X^N+1$的多项式$p(x)$上，然后加密，得到$(c_0(x),c_1(x))\in ({\mathbb{Z}}_q[X]/X^N+1{)}^2$，同样有一个逆过程将一个密文变回${\mathbb{C}}^{N/2}$的向量。

要明白Encoding的过程，还需要先了解快速傅里叶变换（FFT）

快速傅里叶变换(FFT)

FFT思路

快速傅里叶变换可以看看这段视频https://www.youtube.com/watch?v=h7apO7q16V0

结合图片，来聊一下傅里叶变换的思路：
对于两个多项式
$A(x)=a_0+a_{1}x+a_2{x}^2+\cdots +a_d{x}^d,B(x)=b_0+b_{1}x+b_2{x}^2+\cdots +b_d{x}^d$
要计算他们的乘积
$C(x)=c_0+c_{1}x+c_2{x}^2+\cdots +c_{2d}{x}^{2d}$，
其中$c_i=a_0{b}_i+a_1{b}_{i-1}+\cdots +a_i{b}_0,i\in [0,2d]$。
因此，直接对多项式的系数进行运算的计算复杂度是$O(d^2)$的。

然而
如果把这个多项式表示为点值形式，比如像图里一样，将$A(x)=x^2+2x+1$，表示为点值形式$[(-2,A(-2)),(-1,A(-1)),(0,A(0)),(1,A(1)),(2,A(2))]$，那么就可以分别对点值进行两两相乘，得到$C(x)$的点值表达形式：$[(-2,A(-2)\cdot B(-2)),(-1,A(-1)\cdot B(-1)),(0,A(0)\cdot B(0)),(1,A(1)\cdot B(1)),(2,A(2)\cdot B(2))]$。由这样5个点，就可以唯一确定一个4次的多项式（见引理1）。而这样的两两相乘的运算复杂度只有$O(d)$。

引理1：$(d+1)$个点值可以唯一确定一个$d$阶多项式
{ ( x 0 , P ( x 0 ) ) , ( x 1 , P ( x 1 ) ) , … , ( x d , P ( x d ) ) } → P ( x ) = p 0 + p 1 x + p 2 x 2 + ⋯ + p d x d \left\{\left(x_{0}, P\left(x_{0}\right)\right),\left(x_{1}, P\left(x_{1}\right)\right), \ldots,\left(x_{d}, P\left(x_{d}\right)\right)\right\} \to P(x)=p_{0}+p_{1} x+p_{2} x^{2}+\cdots+p_{d} x^{d} { (x0​,P(x0​)),(x1​,P(x1​)),…,(xd​,P(xd​))}→P(x)=p0​+p1​x+p2​x2+⋯+pd​xd
可以把$P(x_0)到$$P(x_d)$都列出来：
$$\begin{array}{c}P\left(x_0\right)=p_0+p_1{x}_0+p_2{x}_0^2+\cdots +p_d{x}_0^d\\ P\left(x_1\right)=p_0+p_1{x}_1+p_2{x}_1^2+\cdots +p_d{x}_1^d\\ ⋮\\ P\left(x_d\right)=p_0+p_1{x}_d+p_2{x}_d^2+\cdots +p_d{x}_d^d\end{array}$$
上述的表达式也可以写成一个矩阵形式：
$$\left[\begin{array}{c}P\left(x_0\right)\\ P\left(x_1\right)\\ ⋮\\ P\left(x_d\right)\end{array}\right]=\left[\begin{array}{ccccc}1& x_0& x_0^2& \cdots & x_0^d\\ 1& x_1& x_1^2& \cdots & x_1^d\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_d& x_d^2& \cdots & x_d^d\end{array}\right]\left[\begin{array}{c}{p}_0\\ p_1\\ ⋮\\ p_d\end{array}\right]$$
其中中间的那列就是一个范德蒙德行列式了，秩为1，所以$p_0,...p_d$只有一个解，即多项式的系数确定。因此通过$d+1$个点可以唯一确定一个$d$阶的多项式。

因此，我们可以将一个系数多项式转换为一个点值多项式，然后进行$O(d)$复杂度的两两相乘运算，再将结果的点值多项式恢复回系数多项式就行啦。

但是：这里新的问题就出现了，如果我们采用下方这种矩阵形式来计算点值的话，那么由系数转为点值的复杂度也是$O(d^2)$的，那不是白忙活了吗。别着急，这时候FFT就有用了。
$$\left[\begin{array}{c}P\left(x_0\right)\\ P\left(x_1\right)\\ ⋮\\ P\left(x_d\right)\end{array}\right]=\left[\begin{array}{ccccc}1& x_0& x_0^2& \cdots & x_0^d\\ 1& x_1& x_1^2& \cdots & x_1^d\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_d& x_d^2& \cdots & x_d^d\end{array}\right]\left[\begin{array}{c}{p}_0\\ p_1\\ ⋮\\ p_d\end{array}\right]$$

如何加速系数多项式到点值类型多项式的运算？

首先来观察一些多项式：

例如$F(x)=x^2$，对于这样一个对称的多项式来说$F(-x)=F(x)$，确定了一个点就相当于确定了两个点。因为通过$(x_0,F(x_0))$就可以知道$-x_0$所对应的点是$(-x_0,F(x_0))$了。同理对于$F(x^3)$来说$F(-x)=-F(x)$，只要知道了$(x_0,F(x_0))$，就可以知道$-x_0$所对应的点是$(-x_0,-F(x_0))$了。相当于我们只需要找原本的一半的点就可以得到这个多项式了。

基于上面的想法，假如有一个一般形式的多项式：
$$\begin{gathered} P(x)=3x^5+2x^4+x^3+7x^2+5x+1 \\ P(x)=2x^4+7x^2+1+(3x^5+x^3+5x) \\ \begin{array}{rl}P(x)=& \underset{P_e\left(x^2\right)}{\underbrace{\left(2x^4+7x^2+1\right)}}+x\underset{P_o\left(x^2\right)}{\underbrace{\left(3x^4+x^2+5\right)}}\\ & P(x)=P_e\left(x^2\right)+x{P}_o\left(x^2\right)\\ & P\left(x_i\right)=P_e\left(x_i^2\right)+x_i{P}_o\left(x_i^2\right)\\ & P\left(-x_i\right)=P_e\left(x_i^2\right)-x_i{P}_o\left(x_i^2\right)\end{array} \end{gathered}$$
可以把$P_e$和$P_o$分别看做两个两次的多项式$P_e(x)=2x^2+7x+1,P_o(x)=3x^2+x+5$。对于一个点$x_i$来说，我们还需要计算$P_e(x_i^2),P_o(x_i^2)$就可以得到$P(x_i)$以及$P(-x_i)$的值了。且$P_e$和$P_o$还可以进一步拆分为奇偶两部分。

假设原本我们对于$P(x)$要求的点是$\pm x_1,\pm x_2,\dots ,\pm x_{n/2}$，用这$n$个点来确定一个$n-1$阶的多项式。现在我们变成了求$P_e(x),P_o(x)$在$x_1^2,x_2^2,...,x_{n/2}^2$上面的点值。如果说他们两两之间满足某个$x_i^2=-x_j^2$的话，那就可以进一步拆分为一半了。那就可以将原来$O(n^2)$的复杂度降为$O(nlogn)$。

问题又出现了，$x_1^2,x_2^2,...,x_{n/2}^2$之间并不满足两两互为相反数的条件呀。而且我们需要这几个数再平方之后仍然是两两之间互为相反数。

所以这里就要引入n次单位根了，不是随机选取$n$个点，而是采用$\left[{\omega }^0,{\omega }^1,{\omega }^2,\dots ,{\omega }^{n-1}\right]$这n个点。

对于$n$个点${\omega }_0,...{\omega }_{n-1}$来说，他们满足$-{\omega }_i={\omega }_{i+\frac{n}{2}}$，${\omega }_{n+i}={\omega }_i$，${\omega }_{n-i}=\overline{{\omega }_i}$。

因此，这样的点平方之后还是满足两两互为相反数的性质。

所以可以看到，可以将一个$n$个点的求值问题转换为$n/2$个的，再转为$n/4$个的，从而达到$O(n\log n)$的复杂度。

把这部分转换为伪代码的话就是如下这样：

如何做逆运算？即从点值多项式变为系数多项式

对于计算点值来说，
P ( x ) = p 0 + p 1 x + p 2 x 2 + ⋯ + p n − 1 x n − 1 → { ( x 0 , P ( x 0 ) ) , ( x 1 , P ( x 1 ) ) , … , ( x n − 1 , P ( x n − 1 ) ) } P(x)=p_{0}+p_{1} x+p_{2} x^{2}+\cdots+p_{n-1} x^{n-1}\to\left\{\left(x_{0}, P\left(x_{0}\right)\right),\left(x_{1}, P\left(x_{1}\right)\right), \ldots,\left(x_{n-1}, P\left(x_{n-1}\right)\right)\right\} P(x)=p0​+p1​x+p2​x2+⋯+pn−1​xn−1→{ (x0​,P(x0​)),(x1​,P(x1​)),…,(xn−1​,P(xn−1​))}
其实运算的是一个矩阵乘法。
$$\left[\begin{array}{c}P\left(x_0\right)\\ P\left(x_1\right)\\ ⋮\\ P\left(x_d\right)\end{array}\right]=\left[\begin{array}{ccccc}1& x_0& x_0^2& \cdots & x_0^{n-1}\\ 1& x_1& x_1^2& \cdots & x_1^{n-1}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{n-1}& x_{n-1}^2& \cdots & x_{n-1}^{n-1}\end{array}\right]\left[\begin{array}{c}{p}_0\\ p_1\\ ⋮\\ p_{n-1}\end{array}\right]$$

将点换为$n$次单位根$\omega$，则这个矩阵就变为了

$\left[\begin{array}{c}P\left({\omega }^0\right)\\ P\left({\omega }^1\right)\\ P\left({\omega }^2\right)\\ ⋮\\ P\left({\omega }^{n-1}\right)\end{array}\right]=\underset{\text{Discrete Fourier Transform (DFT) matrix }}{\underbrace{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& \omega & {\omega }^2& \cdots & {\omega }^{n-1}\\ 1& {\omega }^2& {\omega }^4& \cdots & {\omega }^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\omega }^{n-1}& {\omega }^{2(n-1)}& \cdots & {\omega }^{(n-1)(n-1)}\end{array}\right]}}\left[\begin{array}{c}{p}_0\\ p_1\\ p_2\\ ⋮\\ p_{n-1}\end{array}\right]$

其中中间的范德蒙德矩阵就成了一个DFT矩阵。

那有了这个正向（从系数到点值）的矩阵变换，求逆向（从点值到系数）也是非常方便的，就是对上面的矩阵求逆：
$$\left[\begin{array}{c}{p}_0\\ p_1\\ p_2\\ ⋮\\ p_{n-1}\end{array}\right]={\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& \omega & {\omega }^2& \cdots & {\omega }^{n-1}\\ 1& {\omega }^2& {\omega }^4& \cdots & {\omega }^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\omega }^{n-1}& {\omega }^{2(n-1)}& \cdots & {\omega }^{(n-1)(n-1)}\end{array}\right]}^{-1}\left[\begin{array}{c}P\left({\omega }^0\right)\\ P\left({\omega }^1\right)\\ P\left({\omega }^2\right)\\ ⋮\\ P\left({\omega }^{n-1}\right)\end{array}\right]$$
即：
$$\left[\begin{array}{c}{p}_0\\ p_1\\ p_2\\ ⋮\\ p_{n-1}\end{array}\right]=\frac{1}{n}\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& {\omega }^{-1}& {\omega }^{-2}& \cdots & {\omega }^{-(n-1)}\\ 1& {\omega }^{-2}& {\omega }^{-4}& \cdots & {\omega }^{-2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\omega }^{-(n-1)}& {\omega }^{-2(n-1)}& \cdots & {\omega }^{-(n-1)(n-1)}\end{array}\right]\left[\begin{array}{c}P\left({\omega }^0\right)\\ P\left({\omega }^1\right)\\ P\left({\omega }^2\right)\\ ⋮\\ P\left({\omega }^{n-1}\right)\end{array}\right]$$

从上面的事情我们可以知道，DFT是将$\omega$作为点值传入，IDFT其实就是将$\frac{1}{n}{\omega }^{-1}$作为点值传入，FFT其实就是对DFT的快速算法，由此，IFFT的算法也很好得到：

CKKS Encoding

思路

回顾一下FFT的本质，就是用点值的两两相乘来代替多项式系数的乘法。从而达到加速的效果。
而逆FFT，是把原本两两相乘的点值变回一个多项式
这就很有趣了，因为在RLWE类型的同态加密方案里面，明文的空间是一个多项式，操作是多项式加法和多项式乘法。那如果说我把一个向量做IFFT，变成了一个多项式，把这个多项式作为明文，那就完成了向量的两两之间的加法和乘法，也就是SIMD操作。这也是CKKS的Encoding的核心思路。

通过IFFT构造Toy Encode

这段的内容来自openmined，原文有notebook代码，还是非常易懂的。

假设现在有个需求，要把$N$个复数$z\in {\mathbb{C}}^N$编码到一个复数系数的多项式上：$m(X)\in \mathbb{C}[X]/X^N+1$。还要做一个解码：从$\mathbb{C}[X]/X^N+1\to {\mathbb{C}}^N$。

记映射$\sigma :\mathbb{C}[X]/X^N+1\to {\mathbb{C}}^N$，逆映射${\sigma }^{-1}:{\mathbb{C}}^N\to \mathbb{C}[X]/X^N+1$。

最简单构造这样的映射的方法就是令$\sigma$为FFT，$\sigma$运算就是计算$m(X)$在$N$次单位根${\omega }^0,{\omega }^1,...{\omega }^N-1$上面的值。

注意到，我们这里使用的是分圆多项式$\mathbb{C}[X]/X^N+1$，所以采用之前的${\omega }^N=1$的$N$次单位根$\omega$已经不合适了，这里采用的是$2N$次单位根$\xi$，满足${\xi }^N+1=0$，既${\xi }^N=-1\to {\xi }^{2N}=1$。

这里我是这么理解的，对于FFT来说，他适用的是一个循环卷积，即$Z[X]/X^N-1$上，那么$X^{N+k}=X^k$，而RLWE用的是第2N个分圆多项式，即$Z[X]/X^N+1$，是逆循环的，所以这里要找满足$X^N+1=0$的根$\xi$，而不是$X^N=1$的根$\omega$。

那么新的解码函数$\sigma$就定义为对于一个多项式$m(X)={\sum }_{i=0}^{N-1}{a}_i{X}^i\in \mathbb{C}[X]/(X^N+1)$，生成一个复数向量$m(\xi ),m({\xi }^3),...,m({\xi }^{2i+1}),...m({\xi }^{2N-1})\in {\mathbb{C}}^N$。

$${\sigma }^{-1}:\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ ⋮\\ a_{N-1}\end{array}\right]={\left[\begin{array}{ccccc}1& \xi & {\xi }^2& \cdots & {\xi }^{N-1}\\ 1& {\xi }^3& {\xi }^6& \cdots & {\xi }^{3(N-1)}\\ 1& {\xi }^5& {\xi }^{10}& \cdots & {\xi }^{5(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\xi }^{2N-1}& {\xi }^{(2N-1)2}& \cdots & {\xi }^{(2N-1)(N-1)}\end{array}\right]}^{-1}\left[\begin{array}{c}m\left({\xi }^1\right)\\ m\left({\xi }^3\right)\\ m\left({\xi }^5\right)\\ ⋮\\ m\left({\xi }^{2N-1}\right)\end{array}\right]$$

$$\sigma :\left[\begin{array}{c}m\left({\xi }^1\right)\\ m\left({\xi }^3\right)\\ m\left({\xi }^5\right)\\ ⋮\\ m\left({\xi }^{2N-1}\right)\end{array}\right]=\left[\begin{array}{ccccc}1& \xi & {\xi }^2& \cdots & {\xi }^{N-1}\\ 1& {\xi }^3& {\xi }^6& \cdots & {\xi }^{3(N-1)}\\ 1& {\xi }^5& {\xi }^{10}& \cdots & {\xi }^{5(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& {\xi }^{2N-1}& {\xi }^{(2N-1)2}& \cdots & {\xi }^{(2N-1)(N-1)}\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ ⋮\\ a_{N-1}\end{array}\right]$$

举例

考虑一个$N=4$的情况，$\xi =e^{\frac{2\pi i}{2N}}=\frac{\sqrt{2}}{2}+\frac{\sqrt{2}}{2}i$。
要进行encode的向量为[1,2,3,4]，对这个向量进行${\sigma }^{-1}$运算，得到
$m_1(X)=2.5+\frac{\sqrt{2}}{2}iX+0.5i{X}^2+\frac{\sqrt{2}}{2}i{X}^3$。
可以把$\xi =\frac{\sqrt{2}}{2}+\frac{\sqrt{2}}{2}i,{\xi }^3=-\frac{\sqrt{2}}{2}+\frac{\sqrt{2}}{2}i,,{\xi }^5=-\frac{\sqrt{2}}{2}-\frac{\sqrt{2}}{2}i,,{\xi }^7=\frac{\sqrt{2}}{2}-\frac{\sqrt{2}}{2}i$带入验算一下，可以得到$m_1(\xi )=1,m_1({\xi }^3)=2,m_1({\xi }^5)=3,m_1({\xi }^7)=4$。
所以对[1,2,3,4]encode得[2.5,0.7i,0.5i,0.7i]。
同样的可以对[1,-2,3,-4]进行encode得到[-0.5,-0.7,-2.5i,0.7]。
即$m_2(X)=-0.5+-\frac{\sqrt{2}}{2}X-2.5i{X}^2+\frac{\sqrt{2}}{2}{X}^3$。
令:
$m_{add}(X)=m_1(X)+m_2(X)\mathrm{m}\mathrm{o}\mathrm{d}{X}^N+1=2+(-\frac{\sqrt{2}}{2}+\frac{\sqrt{2}}{2}i)X-2i{X}^2+(\frac{\sqrt{2}}{2}+\frac{\sqrt{2}}{2}i)X^3$

$m_{mul}(X)=m_1(X)\cdot m_2(X)\mathrm{m}\mathrm{o}\mathrm{d}{X}^N+1=-2.5+(-\frac{5\sqrt{2}}{2}-\frac{\sqrt{2}}{2}i)X-7.5i{X}^2+(\frac{5\sqrt{2}}{2}-\frac{\sqrt{2}}{2}i)X^3$

可以把执行一次decode，得到：
2,0,6,0:$m_{add}(\xi )=2,m_{add}({\xi }^3)=0,m_{add}({\xi }^5)=6,m_{add}({\xi }^7)=0$
1,-4,9,-16:$m_{mul}(\xi )=1,m_{mul}({\xi }^3)=-4,m_{mu{l}^5}(\xi )=9,m_{mu{l}^7}(\xi )=-16$
正好是encode前两个向量的按位加和按位乘。

CKKS的Encode

通过上面的举例可以看到，直接对一个$N$维向量（实数或复数向量）进行IFFT得到的多项式的系数上面是有虚数的。但我们在RLWE当中，所有的多项式系数都是整数。所以CKKS除了进行IFFT还做了一些其他的变化：

首先，将向量复制一份共轭：

比如向量[1+i,2+2i]，变为[1+i,2+2i,2-2i,1-i]，对这个变化之后的向量做IFFT就可以得到
$m(X)=1.5+\frac{\sqrt{2}}{2}X-0.5X^2+\sqrt{2}{X}^3$。

为什么会满足这样的性质？对于第2N个分圆多项式$X^N+1$来说，其单位根$\xi$满足${\xi }^i=\overline{{\xi }^{2N-i}}$，${\xi }^i=-{\xi }^{i+N}$的性质。所以对于$\mathcal{R}=Z[X]/X^N+1$，$m(X)\in \mathcal{R}$来说，$m({\xi }^i)=m(\overline{{\xi }^{2N-i}})=\overline{m({\xi }^{2N-i})}$。

那么反向的来说只要在令向量的${\xi }^i$对应的位置是${\xi }^{2N-i}$对应的位置的共轭，那么经过IFFT得到的多项式系数就会在实数域内。

因为要复制一份共轭的关系，也就是对于$N$个系数来说，我们有效利用的只有$N/2$，所以CKKS的encoding中的slot是$N/2$。

前面我们已经定义了$\sigma ,{\sigma }^{-1}$操作，分别对应IFFT和FFT，这里再定义$\pi ,{\pi }^{-1}$操作。${\pi }^{-1}$操作将${\mathbb{C}}^{N/2}$的复数向量复制一份共轭，CKKSpaper里面把这种共轭向量空间称作$\mathbb{H}$。$\pi$定义为从$\mathbb{H}$到${\mathbb{C}}^{N/2}$的一个投影（也就是把后面一半扔掉）。

如何从实数多项式到整数多项式？

现在$m(X)$的系数都是实数了，但还不是我们想要的有限域内的整数，所以CKKS的处理方法是将系数扩大再取整。

比如取扩张倍数$\Delta =2^{10}=1024$，
对于一个向量[1.23+i,2.14+2i]来说，首先我们复制一份共轭(${\pi }^{-1}$)，得到[1.23+i,2.14+2i,2.14-2i,1.23-i]。然后对其扩张1024倍并执行${\sigma }^{-1}$得到$1725.5+765.9578X-511.999X^2+1415.274X^3$，对其进行取整，使得它落在$\mathcal{R}$上：$1725+766X-512X^2+1415X^3$。就得到了encode之后的多项式。

CKKS文章第4页的encode路线图

可以和CKKS文章里面的encode方法对应上了。首先是${\pi }^{-1}$复制一份共轭，然后是$\sigma (R)$这里我理解成扩张再取整，最后通过一个${\sigma }^{-1}$修改后的IFFT得到最终的多项式。

现在可以执行decode了：
decode相对简单，$z=\pi \circ \sigma \left({\Delta }^{-1}\cdot m\right)$
对于多项式$1725+766X-512X^2+1415X^3$
先把他执行$\sigma$得到
[1259.72373798+1023.83592874j, 2190.27626202+2047.83592874j, 2190.27626202-2047.83592874j, 1259.72373798-1023.83592874j]，
然后除以$\Delta =1024$得到[1.23019896+0.99983977j, 2.13894166+1.99983977j, 2.13894166-1.99983977j, 1.23019896-0.99983977j]，
再进行$\pi$得到[1.23019896+0.99983977j, 2.13894166+1.99983977j]。
就是和原始输入向量近似的一个向量啦。