(阅读笔记)同态加密和安全多方计算结合做逻辑回归

Efficient Privacy Preserving Logistic Regression Inference and Training

引论

动机

分布式机器学习过程中，几个参与方之间互相传输的梯度或者模型数据可能会存在暴露原始数据的风险，所以一般采用一些隐私保护的手段。目前来说，主要采用的技术分为三种：安全多方计算、同态加密、带差分隐私的联邦学习。其中，差分隐私只能提供统计意义上的隐私保护，且算法与消息的分布息息相关；安全多方计算需要的通信量非常庞大，甚至超过了原始数据传输的大小；而同态加密在使用中经常会需要用到一些耗时的操作，比如自引导（bootstrapping）和旋转（rotation），而且需要的密钥大小也非常大。

贡献

这篇文章用了安全多方计算（MPC）和同态加密（HE）混合的方式来进行了隐私保护的逻辑回归训练和预测。利用了同态加密的批处理（batch）思路，这篇文章可以使用一次同态乘法来代替向量和矩阵的乘法。另外，这篇文章还提出了一种基于两方的加法秘密共享来控制同态加密噪声的方法。

系统模型

如图1所示，本文的系统模型包括多个被动参与方（Passive Party），一个活动的参与方（Active Party），一个服务器（Server）。从左往右看，首先被动参与方将自己的数据加密上传给服务器，主动的参与方与服务器之间运行一个两方的MPC协议，使得主动参与方无法得知其他人的输入数据，但可以得到逻辑回归的模型。主动参与方拥有这个模型后，其他的客户（Client）就可以加密自己想要预测的数据给主动参与方，主动参与方返回一个加密的预测结果，并由客户解密。

其中，主动参与方与服务器之间运行的隐私保护逻辑回归训练协议

逻辑回归模型训练主要包括了矩阵-向量乘法（Matrix-Vector Multiplication）和sigmoid函数。其中因为同态加密支持SIMD，所以矩阵向量乘法采用同态加密的方式运算，而SIGMOID函数使用安全多方计算来运算。

针对上述训练方式，本文提出了几种优化方法：

• 使用一种针对矩阵-向量乘法的特殊编码方式（encode）。将向量值放进多项式系数中，因此多项式环所带有的性质，一次同态乘法就可以表示一个向量的内积了。这样做不需要同态的旋转操作，因此公私钥的大小都比较小。
• 使用了提取算法（extraction）来减少通信开销。提取算法是在密文中提取出解密需要的数据的一种方法。
• 使用懒加密（lazy encryption）来提高同态加密的效率。在广域网中（WAN）训练逻辑回归的每个时期（Epoch）需要121秒。

预备知识

逻辑回归

机器学习我一直没咋搞懂，慢慢学吧。我完全没看懂，但还是简要的说明一下，总之计算梯度下降的时候要用到内积和sigmoid激活函数。

逻辑回归其实是用于分类的算法，比如胜负，通过还是失败，一张图片里面是否包含一只猫这样的事情。假设训练数据由$n$个样本 ( x i , y i ) ∈ R m − 1 × { ± 1 } , i ∈ [ n ] (\mathbf{x}_i,y_i) \in \mathbb{R}^{m-1}\times\{ \pm 1\},i\in[n] (xi​,yi​)∈Rm−1×{ ±1},i∈[n]构成，其中${\mathbf{x}}_i$表示第$i$个样本的$m-1$个特征，$y_i$表示这个样本的标签（比如预测胜负时，$y_i=-1$表示负，$y_i=1$表示正）。我们的目的是为了得到一个模型系数$\mathbf{w}$，那么计算得到${\hat{y}}_i=(1,{\mathbf{x}}_i)\cdot \mathbf{w}$的值与原本$y_i$​的差距最小。在逻辑回归中，使用cross entropy来表达这个目标，最终得到的目标函数为：
$$L(\mathbf{w})=\frac{1}{n}\sum _{i=1}^n\log \left(1+e^{\left(-y_i{\left(1,{\mathbf{x}}_i\right)}^T\cdot \mathbf{w}\right)}\right)$$
对目标函数求偏导之后就可以得到一个梯度下降算法：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{w}}^{(t)}+\frac{{\alpha }_t}{n}\sum _{i\in I}\sigma \left(-{\mathbf{z}}_i^T\cdot {\mathbf{w}}^{(t)}\right){\mathbf{z}}_i$$
其中${\mathbf{z}}_i=-y_i(1,{\mathbf{x}}_i)$​，${\alpha }_t$​时第$t$​步时的学习率。$\sigma (x)=1/(1+e^{-x})$​是sigmoid激活函数。​本文使用了Nesterov的加速梯度下降算法，产生一个初始的值${\mathbf{w}}^{(0)}={\mathbf{v}}^{(0)}$，然后计算：
$$\begin{array}{l}{\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{v}}^{(t)}+\frac{{\alpha }_t}{n}{\sum }_{i=1}^n\sigma \left(-{\mathbf{z}}_i^T\cdot {\mathbf{w}}^{(t)}\right){\mathbf{z}}_i\\ {\mathbf{v}}^{(t+1)}\leftarrow \left(1-{\gamma }_t\right)\cdot {\mathbf{w}}^{(t+1)}+{\gamma }_t\cdot {\mathbf{w}}^{(t)}\end{array}$$
其中${\gamma }_t$​​是一个平滑系数。进一步的，可以用一个矩阵来代替向量${\mathbf{z}}_i$​​。令$\mathbf{Z}$​​为一个$n\times m$​的矩阵，它的第$i$​行为${\mathbf{z}}_i$​。令${\mathbf{Z}}_I$​为$\mathbf{Z}$​的子矩阵，${\mathbf{Z}}_I$​的行由 { z i } i ∈ I \{\mathbf{z}_i\}_{i \in I} { zi​}i∈I​构成。那可以把上面的式子进一步写为：
$${\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{v}}^{(t)}+\frac{{\alpha }_t}{n}\cdot {\mathbf{Z}}_I^T\cdot \sigma \left(-{\mathbf{Z}}_I\cdot {\mathbf{w}}^{(t)}\right)$$

扫描二维码关注公众号，回复： 13800164 查看本文章

同态加密

这篇文章用到的同态加密是CKKS，值得注意的点是，这篇文章只需要用到一次同态乘法，且不需要使用CKKS的encode技术。明文直接用另外一种技术打包为了一个多项式（而不是CKKS的IFFT打包），所以这里假设明文空间已经为$\mathbb{R}[X]/(X^N+1)$​，而不是${\mathbb{C}}^{N/2}$​。

不带encode的CKKS其实蛮简单的，就如下几个算法，细节省略：

• $\mathrm{S}\mathrm{e}\mathrm{t}\mathrm{u}\mathrm{p}(1^{\lambda },1^L):$ 给定安全参数$\lambda$以及计算深度$L$，生成一个公开参数$\mathrm{p}\mathrm{p}$​.

• $\mathrm{K}\mathrm{e}\mathrm{y}\mathrm{G}\mathrm{e}\mathrm{n}(\mathrm{p}\mathrm{p}):$ 给定安全参数$\mathrm{p}\mathrm{p}$, 生成私钥$\mathrm{s}\mathrm{k}$, 公钥$\mathrm{p}\mathrm{k}$, 以及计算密钥$\mathrm{e}\mathrm{v}\mathrm{k}$. 返回$(\mathrm{s}\mathrm{k},\mathrm{p}\mathrm{k},\mathrm{e}\mathrm{v}\mathrm{k})$​​.

• $\mathrm{E}\mathrm{n}\mathrm{c}\left(\mathrm{p}\mathrm{k},m(x)\in \mathbb{R}[X]/\left(X^N+1\right),\Delta \right):$ 给定公钥，明文和扩张系数$\Delta$, 返回一个密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}\in {\mathcal{R}}_q^2$​​​.

• $\mathrm{D}\mathrm{e}\mathrm{c}(\mathrm{s}\mathrm{k},\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t},\Delta ):$ 给定私钥，密文，扩张系数$\Delta$，返回明文$m(x)\in \mathbb{R}[X]/\left(X^N+1\right)$​​​​.

CKKS中的扩张系数$\Delta$​​​​​与最后要达到的明文的精度有关。但这篇文章中的$\Delta$​​​与CKKS略有区别。具体来说的话，CKKS是在encode的时候加入$\Delta$​​​也就是$m(x)$​​​本身就是扩张过后的多项式值，而本文是指在加密的时候输入$\Delta$​​，那么最后能得到一个密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}=(b(x),a(x))\in {\mathcal{R}}_q^2$​​​​满足$b(x)+a(x)\cdot s(x)=\lfloor [m(x)\cdot \Delta {]}_q\rceil \mathrm{m}\mathrm{o}\mathrm{d}q$​​。解密的时候就直接得到了$d(x)=\lfloor [m(x)\cdot \Delta {]}_q\rceil$​，然后输出明文为$d(x)/\Delta$​，作为一个近似的解密结果。

CKKS算法还支持明文密文之间的加法乘法操作，具体来说，有两个密文$\mathrm{c}\mathrm{t}\mathrm{x}{\mathrm{t}}_1,\mathrm{c}\mathrm{t}\mathrm{x}{\mathrm{t}}_2$，他们所对应的明文分别为：$\mathrm{D}\mathrm{e}\mathrm{c}(\mathrm{s}\mathrm{k},\mathrm{c}\mathrm{t}\mathrm{x}{\mathrm{t}}_1,\Delta )=m_1(x),\mathrm{D}\mathrm{e}\mathrm{c}(\mathrm{s}\mathrm{k},\mathrm{c}\mathrm{t}\mathrm{x}{\mathrm{t}}_1,\Delta )=m_2(x)$。

• $\mathrm{AddP}\left({\mathrm{ctxt}}_1,m_2(x)\right):$​​​​ 给定密文${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_1$​​​​和明文$m_2(x)$​​​​, 返回${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3\in {\mathcal{R}}_q^2$,满足$\mathrm{Dec}\left(\mathrm{s}\mathrm{k},{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3,\Delta \right)\simeq m_1(x)+m_2(x)$​​​ ​​

• $\mathrm{Add}\left({\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_1,{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_2\right):$ 给定密文 ${\mathrm{ctxt}}_1,{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_2$, 返回${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3\in {\mathcal{R}}_q^2$ ，满足$\mathrm{Dec}\left(\mathrm{s}\mathrm{k},{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3,\Delta \right)\simeq m_1(x)+m_2(x)$

• $\mathrm{MultP}\left({\mathrm{ctxt}}_1,m_2(x)\right):$ 给定密文${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_1$和明文$m_2(x)$, 返回${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3\in {\mathcal{R}}_q^2$,满足$\mathrm{Dec}\left(\mathrm{s}\mathrm{k},{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3,\Delta \right)\simeq m_1(x)\cdot m_2(x)$

• $\mathrm{Mult}\left(\mathrm{e}\mathrm{v}\mathrm{k},{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_1,{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_2\right):$ 给定密文 ${\mathrm{ctxt}}_1,{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_2$, 返回${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3\in {\mathcal{R}}_q^2$ ，满足$\mathrm{Dec}\left(\mathrm{s}\mathrm{k},{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_3,\Delta \right)\simeq m_1(x)\cdot m_2(x)$

在每次CKKS密文做完乘法之后，都要将模数从$q$变为$q/\Delta$，因为一次乘法之后的密文对应的明文为${\Delta }^2\cdot m_1(x)\cdot m_2(x)$，通过modulus switching技术，可以变为$\Delta \cdot m_1(x)\cdot m_2(x)$。而因为这篇文章当中只需要使用一次密文乘法，所以只需要取两个模数$q,q/\Delta$​就行了。

安全多方计算：两方加法秘密共享

假如有两个参与方$P_0$和$P_1$，他们分别持有两个${\mathbb{Z}}_t$内的输入$x,y$，想要共同计算$[x+y{]}_t,[x\cdot y{]}_t$。但不暴露$x,y$的值给对方。我们用$[x]=(x_0,x_1)$表示对$x$的一个秘密共享，其中$x=x_0+x_1\mathrm{m}\mathrm{o}\mathrm{d}t$。每个参与方$P_i$只能知道$x_i$，但不能知道$x_{1-i}$的值。那么就可以通过如下方式来进行安全多方计算：

• 加法：$[x]+[y]=[x+y]=(z_0,z_1),z_0=x_0+y_0,z_1=x_1+y_1$

• 常数乘法：$c[x]=[cx]=(z_0,z_1),z_0=c{x}_0,z_1=c{x}_1$​。

• 乘法：乘法需要基于乘法三元组，即双方拥有（$[a],[b],[c],c=a\cdot b\mathrm{m}\mathrm{o}\mathrm{d}t$​），那就可以以如下方式计算$[xy]$：

  计算$[x+a],[y+b]$，并恢复秘密值$x^{\prime }=x+a,y^{\prime }=y+b$。然后就可以计算$x^{\prime }{y}^{\prime }$并重新共享$[x^{\prime }{y}^{\prime }]$.

  计算$[xy]=[x^{\prime }{y}^{\prime }]-y^{\prime }[a]-x^{\prime }[b]-[c]$​.

乘法三元组的生成有好多种方式，这里采用了基于HE的生成方法。

这里的多方安全计算为模t的整数域内，他们通过对消息扩张$\Delta$倍的方式来用整数表达实数。

主要技术

内积（针对向量内积的HE打包）

考虑一下多项式的乘法：令$a(X)={\sum }_{i=0}^n{a}_i{X}^i$, $b(X)={\sum }_{i=0}^m{b}_i{X}^i$，那么$a(X)\cdot b(X)={\sum }_{i=0}^{n+m-1}{c}_i\cdot X^i\in \mathbb{R}[X]/(X^N+1))$，其中$c_i$为
$$c_i=a_0\cdot b_i+a_1\cdot b_{i-1}+\cdots +a_{i-1}\cdot b_1+a_i\cdot b_0$$
因为多项式的乘法具有这种性质，那我们考虑当$a(X)={\sum }_{i=0}^{N-1}{a}_i{X}^i$, $b(x)={\sum }_{i=1}^{N-1}{b}_i{X}^i$的情况，因为在环$\mathbb{R}[X]/(X^N+1)$中，$X^N=-1$，所以乘积$c(X)=(a\cdot b)(X)$的常数项为$a_0{b}_0-a_1{b}_{N-1}-\cdots -a_{N-1}{b}_1$。也可以用内积形式来表示：
$$⟨(a_0,a_1,...,a_{N-1}),(b_0,-b_{N-1},-b_{N-2},...,-b_1)⟩$$
那么可以考虑如下两种encode方式：

• $\mathrm{p}\mathrm{m}1(\mathbf{v}):$​对一个$m$维向量$\mathbf{v}$，返回一个多项式${\sum }_{i=0}^{m-1}{v}_i\cdot X^i\in \mathbb{R}[X]/(X^N+1)$​。
• $\mathrm{p}\mathrm{m}2(\mathbf{v}):$​对一个$m$​维向量$\mathbf{v}$​，返回一个多项式$v_0-{\sum }_{i=1}^{m-1}{v}_i\cdot X^{N-i}\in \mathbb{R}[X]/(X^N+1)$​。

那此时，$⟨\mathbf{a},\mathbf{b}⟩=(a(X)\cdot b(X){)}_0$，其中$a(X)\leftarrow \mathrm{p}\mathrm{m}1(\mathbf{a}),b(X)\leftarrow \mathrm{p}\mathrm{m}2(\mathbf{b})$。

矩阵-向量乘法¹

上面的打包方式考虑到了两个向量的内积，也就是$⟨\mathbf{a},\mathbf{b}⟩={\mathbf{a}}^T\cdot \mathbf{b}$​。那最简单的实现矩阵-向量乘法$\mathbf{M}\cdot \mathbf{v}$或者${\mathbf{M}}^T\cdot \mathbf{v}$的方法是将$\mathbf{M}$按行，按列进行上述的向量打包。但这样的话，对于一个$n\times m$的矩阵，至少需要$n+m$个多项式才能表示一个矩阵，这样不够高效。

考虑到多项式$a(X)=(a_0,a_1,...,a_{N-1})$，$X^i\cdot a(X)=(-a_{N-i},...,-a_{N-1},a_0,a_1,...,a_{N-i-1})$。根据这个性质，可以定义如下编码方式：

• $\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1(\mathbf{v}):$对一个$m$维向量$\mathbf{v}$，返回一个多项式$v_0-{\sum }_{i=1}^{m-1}{v}_i\cdot X^{N-i}\in \mathbb{R}[X]/(X^N+1)$。

• $\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}2(\mathbf{v},n):$对一个$m$维向量$\mathbf{v}$，返回一个多项式$v_0-{\sum }_{i=1}^{m-1}{v}_i\cdot X^{N-n\cdot i}\in \mathbb{R}[X]/(X^N+1)$。

  其实$\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1(\mathbf{v})=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}2(\mathbf{v},1)$。

• $\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{t}(\mathbf{M},\Delta ):$对一个$n\times m$维的矩阵$\mathbf{M}$，返回一个多项式${\sum }_{i=0}^{n-1}{\sum }_{j=0}^{m-1}{M}_{i,j}\cdot X^{m\cdot i+j}\in \mathbb{R}[X]/(X^N+1)$。这里要假设$m\cdot n<N$。

定理 1：给定长度为$m$​的向量$\mathbf{v}$​和$n\times m$​维矩阵$\mathbf{M}$​，令$a(x)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1(\mathbf{v}),b(x)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{t}(\mathbf{M})$​，那么
$$\begin{array}{rl}& a(X)\cdot b(X)=\sum _{i=0}^{N-1}{c}_i\cdot X^i\\ & c_{m\cdot i}=⟨\mathbf{v},Ro{w}_i(\mathbf{M})⟩\end{array}$$
也就是$c(X)$​​这个多项式的第$m\cdot i$个系数表示$\mathbf{M}\cdot \mathbf{v}$的第$i$​行的值。

证明：
$$\begin{array}{rl}a(X)& =v_0-\sum _{i=1}^{m-1}{v}_i\cdot X^{N-i}\\ b(X)& =\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{M}_{j,k}{X}^{m\cdot j+k}\\ c(X)& =v_0\cdot b(X)-\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{N-i+m\cdot j+k}\\ & =v_0\cdot b(X)+\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{m\cdot j+(k-i)}\\ & =v_0\cdot \sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{M}_{j,k}{X}^{m\cdot j+k}+\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{m\cdot j+(k-i)}\end{array}$$
考虑$\mathbf{M}\cdot \mathbf{v}$的第$\beta$行：$⟨\mathbf{v},Ro{w}_{\beta }(\mathbf{M})⟩={\sum }_{i=0}^{m-1}{v}_i\cdot M_{\beta ,i}$​，再考虑$c(X)$中次数为$X^{m\cdot \beta }$的项：
$$c_{m\cdot \beta }{X}^{m\cdot \beta }=v_0{M}_{\beta ,0}{X}^{m\cdot \beta }+\sum _{i=1}^{m-1}{v}_i\cdot M_{\beta ,i}\cdot X^{m\cdot \beta }=\sum _{i=0}^{m-1}{v}_i\cdot M_{\beta ,i}\cdot X^{m\cdot \beta }$$
所以$c_{m\cdot i}=⟨\mathbf{v},Ro{w}_i(\mathbf{M})⟩,i\in [0,n)$​。

定理2：给定长度为$n$​​的向量$\mathbf{v}$​​和$n\times m$​​维的矩阵$\mathbf{M}$​​，令$a(x)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}2(\mathbf{v},m),b(x)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{t}(\mathbf{M})$​​，那么
$$\begin{array}{rl}& a(X)\cdot b(X)=\sum _{i=0}^{N-1}{c}_i\cdot X^i\\ & c_i=⟨\mathbf{v},Co{l}_i(\mathbf{M})⟩\end{array}$$
也就是$c(X)$​​这个多项式的第$i$​​个系数表示${\mathbf{M}}^T\cdot \mathbf{v}$​​的第$i$​​​行的值。

证明：
$$\begin{array}{rl}a(X)& =v_0-\sum _{i=1}^{m-1}{v}_i\cdot X^{N-m\cdot i}\\ b(X)& =\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{M}_{j,k}{X}^{m\cdot j+k}\\ c(X)& =v_0\cdot b(X)-\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{N+m\cdot (j-i)+k}\\ & =v_0\cdot b(X)+\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{m\cdot (i-j)+k}\\ & =v_0\cdot \sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{M}_{j,k}{X}^{m\cdot j+k}+\sum _{i=1}^{m-1}\sum _{j=0}^{n-1}\sum _{k=0}^{m-1}{v}_i\cdot M_{j,k}\cdot X^{m\cdot (i-j)+k}\end{array}$$
考虑${\mathbf{M}}^T\cdot \mathbf{v}$​​​的第$\beta$​​​行：$⟨\mathbf{v},Co{l}_{\beta }(\mathbf{M})⟩={\sum }_{i=0}^{n-1}{v}_i\cdot M_{i,\beta }$​​​​，再考虑$c(X)$​​​中次数为$X^{\beta }$​​​的项：
$$c_{\beta }{X}^{\beta }=v_0{M}_{0,\beta }{X}^{\beta }+\sum _{i=1}^{n-1}{v}_i\cdot M_{i,\beta }\cdot X^{\beta }=\sum _{i=0}^{n-1}{v}_i\cdot M_{i,\beta }\cdot X^{\beta }$$
所以$c_i=⟨\mathbf{v},Co{l}_i(\mathbf{M})⟩,i\in [0,m)$​​​。

根据上述两个定理，对于$n\times m$​维的矩阵，$m$​维向量$\mathbf{v}$​，$n$​维向量$\mathbf{w}$​，令$M(X)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{t}(\mathbf{M})$, $v(X)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1(\mathbf{v})$, $w(X)=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}2(\mathbf{w},m)$​。那$M\cdot v(X)$的第$m\cdot i$项系数可以表示$\mathbf{M}\cdot \mathbf{v}$的第$i$行，$i\in [0,m)$；$M\cdot w(X)$的第$i$项系数可以表示${\mathbf{M}}^T\cdot \mathbf{w}$的第$i$行，$i\in [0,n)$。

系数提取

在上述矩阵-向量乘法的两个定理中，乘积多项式中只有一部分的系数表示有效的矩阵-向量积，因此，可以将这些项提取出来来减少通信的开销。考虑到解密算法为$d(x)=b(x)=a(x)\cdot s(x)\in {\mathcal{R}}_q$，那么明文多项式的第$i$项系数只与$d(x)$​​​的第$i$​​​项​系数有关。那么，为了提取第$i$项系数，定义如下偏置旋转私钥：
$${\mathrm{S}\mathrm{k}\mathrm{e}\mathrm{w}\mathrm{R}\mathrm{o}\mathrm{t}}_i(\mathbf{s}):=(s_i,\cdots ,s_0,-s_{N-1},\cdots ,-s_{i+1})\in {\mathbb{Z}}_q^N,i\in [0,N)$$
使用这个表示法，那么$a(x)\cdot s(x)$的第$i$项就可以表示为$⟨\mathbf{a},{\mathrm{S}\mathrm{k}\mathrm{e}\mathrm{w}\mathrm{R}\mathrm{o}\mathrm{t}}_i(\mathbf{s})⟩$。

通过这个方法就可以构造如下两个提取和解密算法：

$-\mathrm{Extract}(\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t},K):$​​ 给定密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}=(b(x),a(x))$以及一个集合 K = { k 1 , ⋯   , k ℓ } K=\left\{k_{1}, \cdots, k_{\ell}\right\} K={ k1​,⋯,kℓ​}​​​, 返回
$$\mathrm{ctxtExt}=\left(\left(b_{k_1},\cdots ,b_{k_{\ell }}\right),a(x)\right)\in {\mathbb{Z}}_q^{\ell }\times {\mathcal{R}}_q$$
$-{\mathrm{Dec}}^{\ast }(\mathrm{s}\mathrm{k},\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}\mathrm{E}\mathrm{x}\mathrm{t},K):$​​​ 给定提取后的密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}\mathrm{E}\mathrm{x}\mathrm{t}=(\mathbf{b},a(x))$​​​,集合 K = { k 1 , ⋯   , k ℓ } K=\left\{k_{1}, \cdots, k_{\ell}\right\} K={ k1​,⋯,kℓ​}​​​，以及私钥$\mathrm{s}\mathrm{k}=\mathbf{s}$​​​,计算
$$m_i=b_i+⟨\mathbf{a},{\mathrm{SkewRot}}_{k_i}(\mathbf{s})⟩\mathrm{m}\mathrm{o}\mathrm{d}q$$
返回一个向量$\left(m_1,\cdots ,m_{\ell }\right)\in {\mathbb{Z}}_q^{\ell }$​​

这种优化看起来蛮没用的，但其实减少了通信开销：原本要传输的是$a(x),b(x)$，通信开销是$2N\cdot {\log }_{2}q$，而优化过后传输的是$b(x),a_{k_i},k_i\in K$，通信开销是$(N+l)\cdot {\log }_{2}q$，在实际使用中$l\ll N$，所以通信开销是几乎减半的。

而考虑到计算开销，这里做的是内积$⟨\mathbf{a},{\mathrm{SkewRot}}_{k_i}(\mathbf{s})⟩$，需要$l\cdot N$次乘法，而直接计算$a(x)\cdot b(x)$也能得到第$i$项的值，而果采用的是$NTT$+$a(x),b(x)$多项式乘法的话，复杂度是$2\cdot \log N\cdot N+N$，也就是考虑$l$与$2\log N$​​之间的大小关系来选择到底用哪种解密方法（NTT or 内积）。

MPC和HE的混合模型

考虑到要使用MPC和HE的结合，在MPC中需要有一方对密文进行解密，我们不希望它直接得到解密结果，因此定义一个给密文加噪声的函数：

​ $-\mathrm{A}\mathrm{d}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{s}\mathrm{k}(\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}\mathrm{E}\mathrm{x}\mathrm{t},\mathbf{r}):$给定密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}\mathrm{E}\mathrm{x}\mathrm{t}=(\mathbf{b},a(x))$，返回$(\mathbf{b}+\mathbf{r},a(x))$。

进一步的，为了更加清楚的解释，定义了一个从$Z_q$映射到实数的方法：

​ $-\mathrm{Z}\mathrm{q}\mathrm{T}\mathrm{o}\mathrm{R}\mathrm{e}\mathrm{a}\mathrm{l}(m,q,\Delta ):$如果$m>(q/2)$，返回$(m-q)/\Delta$，否则返回$m/\Delta$。

MPC中模数和缩放倍数替换

$t$表示MPC中使用的模数，$q$​表示HE中使用的模数。出于效率考虑，在HE和MPC中使用的模数和缩放系数不同，因此需要在做模数和缩放倍数转换。

​ $-{\mathrm{M}\mathrm{S}}_{q_1\to q_2}(m):$返回$\lfloor m\cdot (q_2/q_1)\rceil$。

​ $-{\mathrm{S}\mathrm{F}\mathrm{S}}_{{\Delta }_1\to {\Delta }_2}(m,\alpha ):$对于$\Delta =\frac{{\Delta }_2}{{\Delta }_1}$，计算
$$m^{\prime }=\{\begin{array}{rlr}& \lfloor m\cdot \delta \rceil \mathrm{m}\mathrm{o}\mathrm{d}t& \text{if }\alpha =1\\ & t-\lfloor (t-m)\cdot \delta \rceil \mathrm{m}\mathrm{o}\mathrm{d}t& \text{if }\alpha =2\end{array}$$
这里做实验下来感觉有点错误，文中是说${\mathrm{S}\mathrm{F}\mathrm{S}}_{{\Delta }_1\to {\Delta }_2}(m_1,2),{\mathrm{S}\mathrm{F}\mathrm{S}}_{{\Delta }_1\to {\Delta }_2}(m_2,2)$​​，则结果变为$\lfloor m\cdot ({\Delta }_2/{\Delta }_1)\rceil +ϵ$​。但实际测试下来只有$\Delta$​为整数时才成立，所以我觉得这里应该改为$t-\lfloor t-m\cdot \Delta \rceil \mathrm{m}\mathrm{o}\mathrm{d}t\text{ if }\alpha =2$。​

HE和MPC转换

定理一个HE方案，模数为$q$，缩放系数为$\Delta$，一个MPC方案，模数为$t$，缩放系数为${\Delta }^{\prime }$。

定义两个算法：

​ $-\mathrm{H}\mathrm{E}2\mathrm{M}\mathrm{P}\mathrm{C}:$​输入为​一个密文$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}$，是加密了$\Delta \cdot m(x)$的一个密文，其中$m(x)$的系数包含了几个有效的位$\mathbf{m}\in {\mathbb{R}}^{\ell }$，输出为两个加法的秘密共享${\mathbf{m}}_1,{\mathbf{m}}_2$​，满足${\mathbf{m}}_1+{\mathbf{m}}_2=\lfloor \mathbf{m}\cdot {\Delta }^{\prime }\rceil \mathrm{m}\mathrm{o}\mathrm{d}t$。

​ $-\mathrm{M}\mathrm{P}\mathrm{C}2\mathrm{H}\mathrm{E}:$输入为两个向量${\mathbf{y}}_1,{\mathbf{y}}_2$​，​满足${\mathbf{y}}_1+{\mathbf{y}}_2=\lfloor \mathbf{y}\cdot {\Delta }^{\prime }\rceil \mathrm{m}\mathrm{o}\mathrm{d}t$，以及一个控制位$\alpha$，如果$\alpha =1$，输出$\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1(\Delta \cdot \mathbf{y})$，如果$\alpha =2$，输出$\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}2(\Delta \cdot \mathbf{y})$。

这里的文字描述和本来的算法对不上了，应该是写作错误，这里的$\mathrm{A}\mathrm{d}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{s}\mathrm{k}$应该是减去了$\mathbf{r}$，那么最后$\mathbf{v}=\frac{{\Delta }^{\prime }}{\Delta }\cdot \mathbf{r}$，$\mathbf{w}={\Delta }^{\prime }\cdot \mathbf{m}-\frac{{\Delta }^{\prime }}{\Delta }\cdot \mathbf{r}$。

梳理一下流程：首先在加密时，$\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}$包含的消息为$\Delta \cdot \mathbf{m}$，做完$\mathrm{A}\mathrm{d}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{s}\mathrm{k}$之后变为$\Delta \cdot \mathbf{m}-\mathbf{r}$。Party 2解密得到这部分内容，Party 1拥有$\mathbf{r}$的值，双方一起做一下模数转换和缩放系数转换，最后得到$\mathbf{v}=\frac{{\Delta }^{\prime }}{\Delta }\cdot \mathbf{r}$，$\mathbf{w}={\Delta }^{\prime }\cdot \mathbf{m}-\frac{{\Delta }^{\prime }}{\Delta }\cdot \mathbf{r},\mathbf{w}+\mathbf{v}={\Delta }^{\prime }\cdot m$。​

至于为什么Party 1要用$\mathrm{S}\mathrm{F}\mathrm{S}(\cdot ,1)$​​​​，Party 2用$\mathrm{S}\mathrm{F}\mathrm{S}(\cdot ,2)$​​。我觉得是因为本身$\lfloor \cdot \rceil$​操作会带来error，而一边使用$\lfloor m\cdot \Delta \rceil$​，一边使用$\lfloor t-m\cdot \Delta \rceil$​可以减少加起来后的部分的error。

MPC2HE就相对简单很多了，因为是公钥加密，所以双方可以运行完模数转换之后直接进行加密，然后将加密结果加起来。

MPC PBoot(Protocol based bootstrapping)协议

使用MPC协议来代替bootstrapping其实很简单，双方都运行HE2MPC再运行MPC2HE就行了。但当中涉及一个小修改，就是不需要进行两次模数和缩放倍数替换了。具体协议如下：

看bootstrapping的时候发现了这篇文章又有一个错误，它文中说到缩放系数$\Delta$是在加密时候添加的，因此plaintext $m_2(x)$是不包含缩放系数的。但他在做$MultP(ctx{t}_1,m_2(x))$的时候，输出的结果居然是$ctx{t}_2\in {\mathcal{R}}_{q/\Delta }^2$中，说明做过了rescale，但是multP不需要做Rescale，因为这篇文章中$m_2(x)$不包含$\Delta$，乘积为$\Delta m_1(x)\cdot m_2(x)$而非${\Delta }^2{m}_1(x)\cdot m_2(x)$。

值得注意的点是这里密文的输入是${\mathcal{R}}_{q/\Delta }^2$​​中的，因为在实际使用过程中，都是在Mult之后进行PBoot。与直接HE2MPC和MPC2HE串行不太相同的地方是，这里只用了一次MS和SFS。MS将$q/\Delta$​下的密文变为了$q$​下的，因为MS对扩张系数也造成了翻倍，所以要再把扩张系数缩小${\Delta }^2\to \Delta$。

使用Hybrid Model做逻辑回归的训练和预测

预测

这里的逻辑回归训练/预测模型涉及一个服务器和一个客户。在预测中，服务器拥有明文状态的模型，客户会传输加密后的数据给服务器，服务器返回一个加密后的预测结果。

对于输入$\mathbf{x}$来说，逻辑回归的预测方法为$\sigma ({\mathbf{w}}^T\cdot \mathbf{x})$，分为两步的话就是先计算$d=⟨\mathbf{w},\mathbf{x}⟩$，再计算$\sigma (d)$。前一步可以使用同态加密计算，计算后的结果$d$返回给用户之后，用户自己计算$\sigma$激活函数。

算法如下：

这里因为他定义的时候写了$MultP$​​的返回结果是在${\mathcal{R}}_{q/\Delta }^2$​​下的，因此要将结果$d$​​映射到$(-\frac{q}{2\Delta },\frac{q}{2\Delta })$​​中。

训练

训练过程是最复杂的，首先看一下明文状态下一个epoch内的训练过程：
$$\begin{array}{l}{\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{v}}^{(t)}+\frac{{\alpha }_t}{n}\cdot {\mathbf{Z}}_I^T\cdot \sigma \left(-{\mathbf{Z}}_I\cdot {\mathbf{w}}^{(t)}\right)\\ {\mathbf{v}}^{(t+1)}\leftarrow \left(1-{\gamma }_t\right)\cdot {\mathbf{w}}^{(t+1)}+{\gamma }_t\cdot {\mathbf{w}}^{(t)}\end{array}$$
其中${\alpha }_t$​是学习率，${\gamma }_t$​是Nesterov加速梯度下降算法中用到的平滑系数。${\mathbf{Z}}_I$是一个$N_I\times M_I$维的矩阵，代表了一个epoch内有$N_I$个数据，每个数据有$M_I-1$个特征。

回顾一下在$EcdMat$算法中，对于一个$n\times m$维的矩阵，该算法要求$n\cdot m<N$，$N$是多项式的阶。而$Z_I$可能会过大，所以考虑一种拆分算法，如图所示：

将$Z_I$拆分为了好多个$n\times m$维的子矩阵，其中$(m\cdot n)<N$，记拆分个数为$n^{\prime }=\lceil N_I/n\rceil ,m^{\prime }=\lceil N_I/m\rceil$。也就是将$Z_I$分为了$Z_{i,j},i\in [0,n^{\prime }),j\in [0,m^{\prime })$。向量$\mathbf{v},\mathbf{w}$也做了相应的拆分，令${\mathbf{v}}_i$为$\mathbf{v}$中的第$i$个$m$维的自向量。

再回看到训练算法：
$$\begin{array}{l}{\mathbf{w}}^{(t+1)}\leftarrow {\mathbf{v}}^{(t)}+\frac{{\alpha }_t}{n}\cdot {\mathbf{Z}}_I^T\cdot \sigma \left(-{\mathbf{Z}}_I\cdot {\mathbf{w}}^{(t)}\right)\\ {\mathbf{v}}^{(t+1)}\leftarrow \left(1-{\gamma }_t\right)\cdot {\mathbf{w}}^{(t+1)}+{\gamma }_t\cdot {\mathbf{w}}^{(t)}\end{array}$$
可以抽取为几个步骤：

1. 计算$\mathbf{x}={\mathbf{Z}}_I\cdot {\mathbf{w}}^{(t)}$​​​​：HE
2. 计算$\mathbf{y}=-\frac{{\alpha }_t}{n}\cdot \sigma (\mathbf{x})$​：HE
3. 计算$\mathbf{g}={\mathbf{Z}}_I^T\cdot \mathbf{y}$：MPC
4. 计算${\mathbf{w}}^{(t+1)}={\mathbf{v}}^{(t)}+\mathbf{g}$​，计算${\mathbf{v}}^{(t+1)}=(1-{\gamma }_t)\cdot {\mathbf{w}}^{(t+1)}+{\gamma }_t\cdot {\mathbf{w}}^{(t)}$​​：HE&PBoot。
   

首先来看一下输入参数：

密文分别是是${\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_{{\mathbf{Z}}_{i,j}}=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{M}\mathrm{a}\mathrm{t}(Z_{i,j}),{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_{{\mathbf{v}}_j^{(t)}}=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1({\mathbf{v}}_j^{(t)}),{\mathrm{c}\mathrm{t}\mathrm{x}\mathrm{t}}_{{\mathbf{w}}_j^{(t)}}=\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1({\mathbf{w}}_j^{(t)})$​

由于计算${\mathbf{Z}}_I\cdot {\mathbf{w}}^{(t)}$，所以采用$\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1$方法加密。

第一步：

这里应该是${\mathbf{w}}^{(t)}$​，应该是文章书写的错误，计算${\mathbf{x}}_i={\sum }_{j=0}^{m^{\prime }-1}{\mathbf{Z}}_{i,j}\cdot {\mathbf{w}}_j$​

最后我们想得到的$\mathbf{x}=({\mathbf{x}}_0\Vert {\mathbf{x}}_1\Vert ...\Vert {\mathbf{x}}_{n^{\prime }-1})$

第二步：

这里在MPC2HE中采用了$\alpha =2$，也就是EcdVec2形式来加密$\mathbf{y}$，因为之后要做${\mathbf{Z}}^T\cdot \mathbf{y}$。

这里的SIGMOID函数用了一个在$[-8,8]$之间的多项式逼近，具体数值为：
$$\begin{array}{rl}{\sigma }_{app}(x)=0.5+1.556384\cdot \frac{x}{8}-2.91484\cdot {\left(\frac{x}{8}\right)}^3& \\ +2.96762\cdot {\left(\frac{x}{8}\right)}^5-1.109504\cdot {\left(\frac{x}{8}\right)}^7& \end{array}$$
这个拟合函数的图像为：

第三步：

第三部没什么好说的，就是计算${\mathbf{g}}_j={\sum }_{0\le i<n^{\prime }}{\mathbf{Z}}_{i,j}^T\cdot {\mathbf{y}}_j$​​

第四步：

这里在每次乘法之后都进行了一次PBoot。且输入参数为PBoot(1)，代表最后的密文为$\mathrm{E}\mathrm{n}\mathrm{c}(\mathrm{E}\mathrm{c}\mathrm{d}\mathrm{V}\mathrm{e}\mathrm{c}1({\mathbf{v}}^{(t+1)}))$​​。

实验结果

Batch Size = $n\cdot m$，$N=8192,q\approx 2^{60},\Delta \approx 2^{25},t\approx 2^{55}$。​

WAN1: 1.97 Gbits/sec , WAN2: 116 Mbits/sec.

DataSet：KDD CUP 1999， 494020 samples，26 features。

Inference time：

Traiing time：

可以从这个结果上看出来，因为Phase1和 Phase3是只包括HE的，而比较耗时的Phase2，4是有MPC协议在的，由此可见还是通信开销对这个方案的影响比较大。

---

1. 感觉这和之前看的"Jiang, X., Lauter, K., Kim, M., & Song, Y. (2018). Secure outsourced matrix computation and application to neural networks. Proceedings of the ACM Conference on Computer and Communications Security, 1209–1222. https://doi.org/10.1145/3243734.3243837"这篇文章有点类似啊，都是将矩阵打包成一个密文，然后用SIMD做运算，最后用在了隐私保护机器学习上面，到时候总结一下规律。 ↩︎