Comprensión profunda del aprendizaje federado: aprendizaje federado vertical

Catálogo de categorías: Catálogo general "Comprensión profunda del aprendizaje federado"

---

Supongamos que el proveedor de datos para el aprendizaje federado es $A$ y$B$ , el tercero es$C$ , entonces los pasos del aprendizaje federado vertical son los siguientes:

1. La alineación de muestras cifradas se realiza a nivel del sistema y los usuarios que no se cruzan no quedarán expuestos a nivel de percepción empresarial.
2. Alinee muestras para el entrenamiento de cifrado de modelos:
   • CC por tercero$C$ a$A$ y$B$ envía la clave pública para cifrar los datos que deben transmitirse;
   • $A$ y$B$ calcula respectivamente los resultados intermedios de las características relacionadas con él mismo y cifra la interacción.
   • $A$ y$B$ calcula sus respectivos gradientes cifrados, agrega máscaras y las envía a$C$ , mientras posee el lado estándar de la clase, calcula la pérdida cifrada y envíala a$C$
   • $C$ descifra el gradiente y la pérdida y se los devuelve a$A$ y$B$
   • $A$ y$B$ quitar la máscara y actualizar el modelo.

Tomamos la regresión de crestas como ejemplo para ilustrar el proceso de formación del aprendizaje federado longitudinal. Supongamos que hay un conjunto de datos $\left\{x_i^{}\right\}(yo\in D_{})$和数据集$\{x_i^{},y_i^{}\}(yo\in D_{})$ , donde$B$ es el propietario de los datos con la etiqueta de clase. Tomamos la regresión lineal como ejemplo para ilustrar el proceso de capacitación del aprendizaje federado vertical:

1. $A$ y$B$ inicializa los parámetros del modelo${Th}_{}$和${Th}_{}$Por ejemplo: $$\underset{{Th}_{},{Th}_{}}{}\underset{i}{}({\_}_{}{X}_i^{}+{Th}_{}{X}_i^{}-y_{}{)}^2+\frac{}{2}(||{\Theta }_{}|{|}^2+||{\Theta }_{}|{|}^2)$$
2. 令${tu}_i^{}={Th}_{}{X}_i^{}$sumaui ${tu}_i^{}={Th}_{}{X}_i^{}$, entonces la función objetivo original está cifrada homomórficamente ( $[[\cdot ]]$表示同态加密）可表示为：$$\begin{array}{rl}[[L]]& =[[\underset{i}{}({tú}_i^{}+{tu}_i^{}-y_{}{)}^2+\frac{}{2}(||{\Theta }_{}|{|}^2+||{\Theta }_{}|{|}^2)]]\\ & =[[\underset{i}{}({tú}_i^{}{)}^2+\frac{}{2}||{\Theta }_{}|{|}^2]]+[[\underset{i}{}(({tú}_i^{}-y_{}{)}^2)+\frac{}{2}||{\Theta }_{}|{|}^2]]+2\underset{i}{}([[{tu}_i^{}]]({tú}_i^{}-y_{})\end{array}$$
3. 我们令: $$\begin{array}{rl}[[l_{}]]& =[[\underset{i}{}({tú}_i^{}{)}^2+\frac{}{2}||{\Theta }_{}|{|}^2]]\\ [[l_{}]]& =[[\underset{i}{}(({tú}_i^{}-y_{}{)}^2)+\frac{}{2}||{\Theta }_{}|{|}^2]]\\ [[l_A& =2\underset{i}{}([[{tu}_i^{}]]({tú}_i^{}-y_{}))]]\\ [[{re}_{}]& =[[{tú}_i^{}]]+[[{tú}_i^{}-y_{}]\end{array}$$则$[[L]]=[[l_{}]]+[[l_{}]]+[[l_A]]$
4. 计算梯度: $$\begin{array}{rl}[[\frac{\partial L}{\partial \Theta {\_}_{}}]]& =\underset{i}{}[[{re}_{}]]x_i^{}+[[\lambda {Th}_{}]]\\ [[\frac{\partial L}{\partial \Theta {\_}_{}}]& =\underset{i}{}[[{re}_{}]]x_i^{}+[[\lambda {Th}_{}]\end{array}$$

El proveedor de datos es $A$ y$B$ y el tercero son$C.$ Los pasos de formación del aprendizaje federado vertical son los siguientes:

\qquad\quad	El proveedor de datos es $A$	El proveedor de datos es $B$	El tercero es $C$
Paso $1$	Parámetro de inicialización ${Th}_{}$	Parámetro de inicialización ${Th}_{}$	Cree un par de claves de cifrado y envíe la clave pública al proveedor de datos como $A$ y$B$
Paso $2$	Cálculo $[[{tú}_I^{}]]$ Suma$[[l_{}]]$ y enviado al proveedor de datos$B$	Cálculo $[[{tú}_I^{}]]$、$[[{re}_{}]]$ y$[[L]]$ y$[[{re}_{}]]$ Enviado al proveedor de datos$A$ ,$[[L]]$ Enviar a CCde terceros$C$
Paso $3$	Máscara de inicialización $R_{}$，计算$[[\frac{\partial L}{\partial \Theta {\_}_{}}]]+[[R_{}]]$ y enviarlo al$C$	Máscara de inicialización $R_{}$，计算$[[\frac{\partial L}{\partial \Theta {\_}_{}}]]+[[R_{}]]$ y enviarlo al$C$	Descifrar $L$并发送$\frac{\partial L}{\partial \Theta {\_}_{}}+R_{}$Al proveedor de datos $A$，发送$\frac{\partial L}{\partial \Theta {\_}_{}}+R_{}$Al proveedor de datos $B$
Paso $4$	Actualizar parámetros ${Th}_{}$	Actualizar parámetros ${Th}_{}$

Durante todo el proceso, los participantes no conocen los datos y características de la otra parte, y después del entrenamiento, los participantes solo obtienen los parámetros del modelo de su propio lado, es decir, el medio modelo. Dado que cada participante solo puede obtener los parámetros del modelo relacionados con él mismo, la predicción requiere la colaboración entre ambas partes:

1. CC de terceros$C$ envía la ID de usuario que se va a predecir al proveedor de datos$A$ y$B$
2. Proveedor de datos $A$ y$B$ cálculo de minutos${tu}^A$和${tu}^B$ y realice cifrado homomórfico para obtener$[[{tú}^A]]$Suma$[[{tú}^B]]$
3. Proveedor de datos $A$ y$B$ cifrado homomórficamente$[[{tú}^A]]$Suma$[[{tú}^B]]$CCde terceros$C$
4. CC de terceros$C$ calcula el valor predicho después del cifrado homomórfico$[[y]]=[[{tú}^{Un}]]+[[{tú}^B]]$y luego descifre para obtener el valor previsto$y$

Referencias:
[1] Yang Qiang, Liu Yang, Cheng Yong, Kang Yan, Chen Tianjian, Yu Han. Federated Learning [M]. Electronic Industry Press, 2020 [2] WeBank, FedAI. Federated Learning White Paper V2.0.
Tencent Instituto de Investigación, etc., 2021