RapidUp: Multi-Domain Permutation Protocol for Lookup Tables学习笔记

1. 引言

前序博客有：

• PLOOKUP
• PLOOKUP代码解析
• Efficient polynomial commitment schemes for multiple points and polynomials学习笔记
• PLONK + PLOOKUP
• PlonKup: Reconciling PlonK with plookup
• PLONK: permutations over lagrange-bases for oecumenical noninteractive arguments of knowledge 学习笔记
• Plonk代码解析

---

要点：

• 1）采用 2020年论文Efficient polynomial commitment schemes for multiple points and polynomials中类似（详细可参看博客Efficient polynomial commitment schemes for multiple points and polynomials学习笔记）的多项式承诺方案，支持query多个多项式at多个points。
• 2）在多项式协议中引入了一个可信第三方$\mathcal{I}$，Prover与Verifier无法用Fiat-Shamir实现非交互式，Prover必须与Verifier交互，且其交互的某个值依赖于 Prover与可信第三方$\mathcal{I}$的至少某一个消息。

---

Polygon zero团队 Daniel Lubarov 和 Polygon zkEVM团队 Jordi Baylina 2022年9月联合发表的论文 《RapidUp: Multi-Domain Permutation Protocol for Lookup Tables》。

某些标准的密码学原语中包含了大量SNARK-unfriendly运算——如XOR运算。Gabizon等人2020年论文《plookup: A simplified polynomial protocol for lookup tables》，为解决这种SNARK-unfriendly运算，设计的协议中引入了lookup arguments——但是该协议仅适合用于相同的电路。本文的RapidUp协议，通过将grand-product多项式展开为2个具有相同size的（等价）多项式，不受限于相同电路。通过引入selectors，也可以让plookup协议更通用化。

2019年 Plonk 论文中包含了一种协议，用于证明，2个多项式基于某evaluation domain形成的evaluation vector，二者互为permutation。该协议后来进一步扩展为多个多项式，在Plonk主协议中用于证明各circuit gates是正确连接的。

通过构建“grand-product”多项式来实现permutation check。从上层来看，grand-product为所涉及的多项式evaluations的quotient的递增乘积。若该多项式的最后一个evaluation可正确cycle back为1，则可证明原始的evaluations之间互为permutation。

上述协议存在的一个主要问题在于，无法对 对不同的（可能相互关联的） domain的evaluate进行实例化。多项式$f$和$g$之间的permutation check仅适合 对相同的domain $H$进行evaluate 的场景。

本文对基于grand-product的协议 以2种不同方式进行了通用化改进：

• 1）各多项式可基于不同的domain进行evaluate，各domain甚至可具有不同的size。
• 2）适合原始evaluations之间相互不是permutation，但包含了该permutation的场景——即适合original values不是permute "in its whole"的情况。

如，具有集合 f = { 5 , 4 , 2 , 5 } f=\{5,4,2,5\} f={ 5,4,2,5}（某多项式基于domain size为$m$的evaluation集合）以及 g = { 9 , 7 , 5 , 8 , 5 , 1 , 6 , 9 , 4 } g=\{9,7,5,8,5,1,6,9,4\} g={ 9,7,5,8,5,1,6,9,4}（某多项式基于domain size为$n$的evaluation集合），二者当前不存在直接的permutation关系。

本文协议，可证明$f$的某特定子集$f^{\prime }$，与，$g$的某特定子集$g^{\prime }$，二者存在permutation关系。本例中， f ′ = { 5 , 4 , 5 } ， g ′ = { 5 , 5 , 4 } f'=\{5,4,5\}，g'=\{5,5,4\} f′={ 5,4,5}，g′={ 5,5,4}，二者permutation关系为$(1,3,2)$。【注意，$f,g$的长度可不同，但$f^{\prime },g^{\prime }$的长度是相同的。】

本协议的核心思想是，将grand-product多项式$Z$“切分”为2个多项式$Z_f,Z_g$——代表$Z$中的2个quotient member。若在某evaluation point，多项式$Z$的值为$A/B$，则在某（可能不同的）evaluation point，多项式$Z_f,Z_g$的值分别为$A,B$。根据$Z$的结构，这2个多项式的最后一个evaluation值要求是相等的。

为定义该多项式，需额外引入2个selectors集合$f^{sel}，g^{sel}$：

• 这些selectors可选择每个$f,g$中的indexes，以包含在待permutation check的子集$f^{\prime },g^{\prime }$中。
• 若某index被选中，相应selector值为1，否则为0。仍以上例为例，有 f s e l = { 1 , 1 , 0 , 1 } , g s e l = { 0 , 0 , 1 , 0 , 1 , 0 , 0 , 0 , 1 } f^{sel}=\{1,1,0,1\},g^{sel}=\{0,0,1,0,1,0,0,0,1\} fsel={ 1,1,0,1},gsel={ 0,0,1,0,1,0,0,0,1}。

至此，基于不同的evaluation domain，$Z_f,Z_g$的evaluation值定义为：

• Z f → { 1 , ( 5 + γ ) , ( 5 + γ ) ( 4 + γ ) , ( 5 + γ ) ( 4 + γ ) , ( 5 + γ ) ( 4 + γ ) ( 5 + γ ) } Z_f\rightarrow \{1,(5+\gamma),(5+\gamma)(4+\gamma), (5+\gamma)(4+\gamma),(5+\gamma)(4+\gamma)(5+\gamma)\} Zf​→{ 1,(5+γ),(5+γ)(4+γ),(5+γ)(4+γ),(5+γ)(4+γ)(5+γ)}
• Z g → { 1 , 1 , 1 , ( 5 + γ ) , ( 5 + γ ) , ( 5 + γ ) ( 5 + γ ) , ( 5 + γ ) ( 5 + γ ) , ( 5 + γ ) ( 5 + γ ) , ( 5 + γ ) ( 5 + γ ) , ( 5 + γ ) ( 5 + γ ) ( 4 + γ ) } Z_g\rightarrow \{1,1,1,(5+\gamma),(5+\gamma),(5+\gamma)(5+\gamma), (5+\gamma)(5+\gamma), (5+\gamma)(5+\gamma), (5+\gamma)(5+\gamma),(5+\gamma)(5+\gamma)(4+\gamma)\} Zg​→{ 1,1,1,(5+γ),(5+γ),(5+γ)(5+γ),(5+γ)(5+γ),(5+γ)(5+γ),(5+γ)(5+γ),(5+γ)(5+γ)(4+γ)}

其中$\gamma$为基于底层域的随机值。

以上2个多项式的最后一个值为相同的product value。相应的思想为：当且仅当$Z_f,Z_g$ 最后一个evaluate值相同时，subset { 5 , 4 , 5 } ⊂ { f i } \{5,4,5\}\subset \{f_i\} { 5,4,5}⊂{ fi​} 也为subset in { g i } \{g_i\} { gi​}。

1.1 用例：Lookup Tables

本协议可用于lookup tables场景。
lookup技术可用于reduce某些标准密码学原语的原生SNARK表示（如Keccak-256）。从上层来看，该技术是通过将某特定“SNARK-unfriendly”运算的所有可能输入/输出组合 预计算出 一个lookup table。不同于以某SNARK语言来表示这些运算，Prover只需声称相应的witness在相应的查找表中。

plookup 协议提供了一种简单高效的实现方案。存在的主要的问题在于在lookup中包含了vectors——witness-related的$f$ 与 table-related $t$ 之间需具有相近的length——如，可用于满足$|t|=|f|+1$的2个向量$f,t$之间。在2022年论文《PlonKup: Reconciling PlonK with plookup》中，以不同的方法（即填充）来调整该限制。同时，当$f,t$具有相同的length时，在PlonKup论文中可构建具有更少约束的更简单的lookup协议。

但是，仍然存在某些场景，$f,t$并不具有相近的长度。某传统场景中，$|f|$可为small power of two，而$t$可为big power of two。之前的协议就存在瓶颈了——需对$f$的长度进行调整，如对$f$填充其最后一个元素，使其填充后的长度适于PlonKup协议。但是 ，该调整将影响Prover和Verifier双方的效率，主要是影响Prover端的效率。

在本文中，提供了一种length问题的解决方案。

2. 相关约定

已知$n\in \mathbb{N}$，以$[n]$来表示集合 { 1 , 2 , ⋯   , n } \{1,2,\cdots,n\} { 1,2,⋯,n}。
已知合适的$n,m\in {\mathbb{Z}}_0^{+}$，以$[n,m]$来表示集合 { n , n + 1 ， n + 2 , ⋯ m } \{n,n+1，n+2,\cdots m\} { n,n+1，n+2,⋯m}。

令field $\mathbb{F}$具有prime order，以${\mathbb{F}}^{\ast }$来表示相应的multiplicative group。
${\mathbb{F}}_{<n}[X]$为基于 $\mathbb{F}$的单变量多项式集合，其degree均小于$n$。
对于某多项式$f\in {\mathbb{F}}_{<n}[X]$，对某$i\in [n]$，定义：$f_i=f(w^i)$。

$\mathbb{F}$的某multiplicative subgroup $H$，其order为$N$，generator为$w$。$H^2$表示该集合内的每个元素为$H$中每个元素的平方。$H^{2^h}$表示该集合内的每个元素为$H$中每个元素的$2^h$次方。

对于某子集$H\subset {\mathbb{F}}^{\ast }$，vanishing多项式定义为：
$Z_H(X)={\prod }_{x\in H}(X-x)$。

2.1 Lagrange多项式

对于degree小于$n$的多项式$f(X)=a_0+a_{1}X+a_2{X}^2+\cdots +a_{n-1}{X}^{n-1}$，选$n$个不同的插值点——$(x_0,f(x_0)),(x_1,f(x_1),\cdots ,(x_{n-1},f(x_{n-1})))$，可唯一确定该多项式：
$f(X)={\sum }_{i=0}^n({\prod }_{j=0,j\ne i}^n\frac{X-x_j}{x_i-x_j})\cdot f(x_i)={\sum }_{i=0}^n{L}_i(X)\cdot f(x_i)$

当采样点为$(w^0,w^1,w^2,\cdots ,w^{n-1})$（构成domain $H$），其中$w$为generator，满足$w^n=1$时，Lagrange插值多项式$L_i(X)$表示为：
$L_i(X)={\prod }_{j=0,j\ne i}^n\frac{X-x_j}{x_i-x_j}=\frac{(X-w^0)\cdot (X-w^1)\cdots (X-w^{i-1})\cdot (X-w^{i+1})\cdots (X-w^{n-1})}{(x_i-w^0)\cdot (x_i-w^1)\cdots (x_i-w^{i-1})\cdot (x_i-w^{i+1})\cdots (x_i-w^{n-1})}=\frac{w^i(X^n-1)}{n(X-w^i)}$

满足：

• $L_i(w^i)=1$
• $L_i(w^j)=0$ for $j\ne i$

从而有Claim 1：

• 已知$i\in [n]$且$f,g\in \mathbb{F}[X]$，当且仅当$f(w^i)=g(w^i)$时，对所有的$x\in H$，有$L_i(x)(f(x)-g(x))=0$成立。

generator $w$还很适合用于表示“相邻值”的约束，即：

• 约束$f(X\cdot w^2)=f(X\cdot w)+f(X)$，表示$f$的相邻三个值遵循Fibonacci序列要求。

2.2 多项式承诺方案

本文的多项式承诺方案定义与 2020年论文Efficient polynomial commitment schemes for multiple points and polynomials中类似（详细可参看博客Efficient polynomial commitment schemes for multiple points and polynomials学习笔记），定义的为支持batched设置的多项式承诺方案，支持query多个多项式at多个points。

Definition 1：

其中的open协议满足如下属性：

• 完备性
• knowledge soundness in the algebraic group model
  

3. 多项式协议

本文采用的多项式协议为PLONK中多项式协议的变种。多项式协议核心思想在于对底层多项式承诺方案（如KZG10或BulletProofs）的抽象。
本文，在多项式协议中引入了一个可信第三方$\mathcal{I}$，Verifier可向可信第三方$\mathcal{I}$询问"Prover多项式的特定identities是否成立" 以及 “Verifier已知的额外预定义的多项式”。

与PLONK不同之处在于，本文：

• Prover与Verifier无法用Fiat-Shamir实现非交互式，Prover必须与Verifier交互，且其交互的某个值依赖于 Prover与可信第三方$\mathcal{I}$的至少某一个消息。
• Verifier向可信第三方$\mathcal{I}查询的每个identity可基于不同的domain。

定义2：【基于单个domain】
已知正整数$d,D,l,t,h$。基于$\mathbb{F}$的$(d,D,l,t,h)-$多项式协议为 Prover ${\mathcal{P}}_{poly}$、Verifier ${\mathcal{V}}_{poly}$、理想（可信）第三方$\mathcal{I}$之间的多轮协议，具体为：

• 1）包含了一组预处理多项式$g_1,\cdots ,g_l\in {\mathbb{F}}_{<d}[X]$。
• 2）Prover ${\mathcal{P}}_{poly}$ 发送给 理想（可信）第三方$\mathcal{I}$ 的消息格式为$f$，$f\in {\mathbb{F}}_{<d}[X]$。若 Prover ${\mathcal{P}}_{poly}$ 发送的消息不满足该格式要求，则协议终止。
• 3）Prover ${\mathcal{P}}_{poly}$ 发送给 Verifier ${\mathcal{V}}_{poly}$ 的消息格式为$K$，$K\in \mathbb{F}$。若 Prover ${\mathcal{P}}_{poly}$ 发送的消息不满足该格式要求，则协议终止。
• 4）Verifier ${\mathcal{V}}_{poly}$ 发送给 Prover ${\mathcal{P}}_{poly}$ 的为random coins。
• 5）最终，假设$f_1,\cdots ,f_t$为Prover ${\mathcal{P}}_{poly}$ 发送给 理想（可信）第三方$\mathcal{I}$ 的多项式；假设$K_1,\cdots ,K_h$为Prover ${\mathcal{P}}_{poly}$ 发送给 Verifier ${\mathcal{V}}_{poly}$ 的$\mathbb{F}$域元素。
  Verifier ${\mathcal{V}}_{poly}$ 向 理想（可信）第三方$\mathcal{I}$ 查询 { g 1 , ⋯   , g l , f 1 , ⋯   , f t } \{g_1,\cdots,g_l,f_1,\cdots,f_t\} { g1​,⋯,gl​,f1​,⋯,ft​}与 { K 1 , ⋯   , K h } \{K_1,\cdots,K_h\} { K1​,⋯,Kh​}之间的特定多项式identities是否成立。每个多项式identity的格式为：
  $F(X)=G(X,h_1(v_1(X)),\cdots ,h_M(v_M(X)),K_1,\cdots ,K_h)\equiv 0$
  其中 h i ∈ { g 1 , ⋯   , g l , f 1 , ⋯   , f t } , G ∈ F [ X , X 1 , ⋯   , X M ] , v 1 , ⋯   , v M ∈ F < d [ X ] h_i\in\{g_1,\cdots,g_l,f_1,\cdots,f_t\},G\in\mathbb{F}[X,X_1,\cdots,X_M],v_1,\cdots,v_M\in\mathbb{F}_{<d}[X] hi​∈{ g1​,⋯,gl​,f1​,⋯,ft​},G∈F[X,X1​,⋯,XM​],v1​,⋯,vM​∈F<d​[X]，使得对于Prover ${\mathcal{P}}_{poly}$选择每个$f_1,\cdots ,f_t$对应的$F\in {\mathbb{F}}_{<D}[X]$均成立。
• 6）当获得 理想（可信）第三方$\mathcal{I}$的答复之后，若所有identities均成立，则Verifier ${\mathcal{V}}_{poly}$ 输出Accept，否则输出Reject。

将以上定义2扩展为对relation的多项式协议定义：

3.1 基于多个domain的多项式协议

本文协议中，${\mathcal{V}}_{ploy}$实际需要检查：

• if certain polynomial identities hold on certain subsets of values from $\mathbb{F}$。

基于subsets $H_1,\cdots ,H_k\subset \mathbb{F}$的multi-ranged $(d,D,l,t,h,k)-$多项式协议，当满足如下条件时，其与$(d,D,l,t,h)-$多项式协议类似：

• 1）整数$k$满足$k\le t$。
• 2）在协议最后一步，Verifier向$\mathcal{I}$询问的identities需基于$H_1,\cdots ,H_k$之一，而不是基于整个$\mathbb{F}$。

具体可参看PLONK论文第4章——如何将$H-$ranged多项式协议 转换为 基于$\mathbb{F}$的多项式协议，仅会引入一个额外的预处理多项式，以及增加由${\mathcal{P}}_{poly}$发送个$\mathcal{I}$的多项式：

3.2 将多项式转换为抗Algebraic Adversaries协议

将多项式协议 编译为 Algebraic Group Model（AGM）下的协议 的方式，与
Aztec团队2021年11月论文《fflonK: a Fast-Fourier inspired verifier efficient version of PlonK》中的编译方案类似，只是Verifier不仅值check one polynomial identity——根据上面的Lemma 1，本文的协议中Verifier会为每个range询问一个identity。

令$\mathcal{P}$为某$(d,D,l,t,h)-$多项式协议构建具有knowledge soundness in the AGM的协议${\mathcal{P}}^{\ast }$。定义${\mathcal{P}}^{\ast }$的extractor $E$，令$E_{\mathcal{P}}$为$\mathcal{P}$协议的extractor，$E_{PCS}$为上面定义1的knowledge soundness extractor。
假设某algebraic adversary $\mathcal{A}$取代${\mathcal{P}}^{\ast }$中的$\mathcal{P}$角色：

• 1）$E$将承诺值$c{m}_1,\cdots ,c{m}_t$以及$t$值发送给$E_{PCS}$，收到多项式$f_1,\cdots ,f_t\in {\mathbb{F}}_{<d}[X]$。
• 2）$E$承担$\mathcal{I}$的角色与$E_{\mathcal{P}}$互动，将其收到的多项式$f_1,\cdots ,f_t\in {\mathbb{F}}_{<d}[X]$发送给$E_{\mathcal{P}}$。
• 3）当$E_{\mathcal{P}}$输出$\mathbf{w}$时，$E$也输出$\mathbf{w}$。

定义2个events：

• 1）想象某adversary ${\mathcal{A}}_{\mathcal{P}}$参与到$\mathcal{P}$多项式协议中，将多项式$f_1,\cdots ,f_t$作为消息发送给$\mathcal{I}$。定义$\mathbf{A}$为the event that one of the identities $F_i$ held，但是$(\mathbf{x},\mathbf{w})\notin \mathcal{R}$，根据$\mathcal{P}$的knowledge soundness可知，相应的概率$\text{Pr}(\mathbf{A})=\text{negl}(\lambda )$。
• 2）定义$\mathbf{B}$为the event that for some $i\in [k],j\in [M],h_{i,j}(v_{i,j}(x))\ne s_{i,j}$，与此同时，open子程序中$\mathcal{V}$输出Accept，根据$\mathcal{P}$的knowledge soundness可知，相应的概率$\text{Pr}(\mathbf{B})=\text{negl}(\lambda )$。

然后定义$\mathcal{V}$输出Accept的event $\mathbf{C}$，此时$E$对应$(\mathbf{x},\mathbf{w})\notin \mathcal{R}$，此时，可将$C$切分为2种情况：

• 1）$\mathbf{A}$ 或 $\mathbf{B}$发生的概率为$\text{negl}(\lambda )$。
• 2）$\mathbf{C}$发生，而$\mathbf{A}$ 或 $\mathbf{B}$不发生。意味着，存在某些$i\in [k]$，$F_i$为非zero 多项式，但$F_i(x)=0$的概率为$\text{negl}(\lambda )$。

注意，$E$还可访问由${\mathcal{P}}_{poly}$直接发送${\mathcal{V}}_{poly}$的消息，但是并不需要这些消息来获取“incorrect” witness $\mathbf{w}$。

4. 主协议

本文的协议描述与Gabizon等人2020年论文《plookup: A simplified polynomial protocol for lookup tables》中的类似。

4.1 Grand-Product多项式