Un artículo para entender el principio de la tecnología de privacidad diferencial de Apple

En la conferencia WWDC de Apple en junio de 2016, se mencionó una tecnología de privacidad diferencial (Differential Privacy), que se utiliza para perturbar los datos del usuario y luego subirlos al servidor de Apple. Apple puede usar estos datos perturbados para calcular los patrones de comportamiento de los grupos de usuarios, pero no puede analizar los datos de cada usuario individual.

Al adoptar una tecnología de privacidad diferencial, Apple puede aprender el comportamiento del usuario sin obtener los datos originales del usuario. Si desea conocer la tecnología detrás de "los datos están disponibles pero no son visibles", ¡síganos para conocer el principio detrás de la tecnología de privacidad diferencial de Apple !

1. Introducción

La privacidad diferencial es una tecnología de protección de la privacidad de los datos, que protege la privacidad al introducir perturbaciones aleatorias en los datos. En términos simples, los datos perturbados no se pueden extrapolar con precisión a su valor original. Al mismo tiempo, permite el análisis estadístico de los datos aleatorizados, asegurando la utilidad de los datos. La privacidad diferencial proporciona una definición matemática estricta para medir la privacidad y es una tecnología de protección de la privacidad común en la industria en los últimos años .

1.1 Escenarios de aplicación de privacidad diferencial

Apple utiliza la tecnología Local Differential Privacy (Privacidad diferencial local) para recopilar información sobre los dispositivos de los usuarios, y sus productos implementados se muestran en la siguiente tabla [1, 2].

nombre del producto	usar
Sugerencias de QuickType	Aprenda nuevas palabras interesantes para la predicción de escritura en el teclado
Sugerencias de emoji (predicción de emoji)	Conozca la tendencia de los emoticonos populares y prediga los emoticonos utilizados por los usuarios.
Sugerencias de búsqueda	Sugerencias del cuadro de búsqueda de iOS
Safari Energy Drenaje de dominios y dominios de bloqueo	Estadísticas sobre sitios web que consumen mucha energía (alta CPU, alto uso de memoria) y sitios web que son propensos a fallas
Detección de intención de reproducción automática de Safari	Preferencia estadística de los usuarios por los sitios que se reproducen automáticamente y no silencian
Uso del tipo de salud	Estadísticas para tipos de datos de salud populares (sueño, frecuencia cardíaca, calorías, etc.)

1.2 Privacidad diferencial localizada

En el marco de privacidad diferencial localizado, el usuario agrega ruido (perturbación) a los datos originales cargados y el servidor no puede conocer los datos reales del usuario. Esta técnica fue propuesta por primera vez por Warner como una respuesta aleatoria (Randomized response) [3].

Las técnicas de privacidad diferencial localizada se pueden utilizar para estadísticas conjuntas, como medios informáticos, medianas, histogramas de frecuencia, etc. Su marco de algoritmo ( ERAP ) generalmente se divide en cuatro pasos:

1. Codificación ( Codificación, E )
2. Aleatorización ( aleatorización , R )
3. Agregación ( Una agregación, A )
4. Post-procesamiento ( P ost-procesamiento, P )

El cliente realiza la codificación y la aleatorización para garantizar que los datos transmitidos sean perturbados; el servidor realiza la agregación y el posprocesamiento para obtener las estadísticas correspondientes.

2. El plan de Apple

El esquema de privacidad diferencial localizado de Apple se puede encontrar en [2, 4, 5], entre los cuales [4, 5] son ​​patentes. Aquí hay una versión simple del esquema en [2], tomando como ejemplo el histograma de frecuencia de los emoticones estadísticos .

2.1 Cliente

De acuerdo con el marco de algoritmo ( ERAP ) mencionado anteriormente , el cliente debe codificar (E) y aleatorizar® los datos originales antes de cargar los datos .

Codificación (E): la codificación es para los pasos posteriores de aleatorización y agregación. La codificación de Apple utiliza una tabla hash y los elementos de la tabla inicial son todos "-1". Luego pasa la función hash $h$ elemento$d$ (el paquete de emoticonos más utilizado) está asignado a la posición$h\left(d\right)$ , y marque "1". Supongamos que la longitud de la tabla hash es$m$ (este parámetro se utiliza durante la agregación).

Randomization® : La aleatorización es un paso clave en la privacidad diferencial, que garantiza la privacidad de los datos . Dado que los datos codificados son tanto "1" como "-1", deje que cada bit con la probabilidad establecida $p$ cambia, es decir, "1" se convierte en "-1" o "-1" se convierte en "1". donde$pag=1/(1+{mi}^{ϵ/2})$,$ϵ$ se denomina presupuesto de privacidad y se desarrollará en la Sección 2.4.

2.2 Lado del servidor

De acuerdo con el marco de algoritmo ( ERAP ) mencionado anteriormente , el servidor necesita agregar (A) y procesar posteriormente los datos "perturbados" después de recibir los datos§ .

Agregación (A) : dado que los datos cargados por cada usuario están perturbados, la agregación puede eliminar la influencia de parte del ruido . Suponiendo un total de $n$ usuarios, el servidor recibe usuario$La\; tabla\; hash\; de\; i$ es$v^{\left(yo\right)}$ . El servidor primero calcula:

$X^{\left(yo\right)}=\frac{C_{}{v}^{\left(yo\right)}+}{2}$,Dado $C_{}=\frac{{mi}^{ϵ/2}+}{{mi}^{ϵ/2}-1}$

entonces todo xxLas posiciones correspondientes de$x$$M$ , es decir

$$METRO=\sum _{yo=1}{X}^{\left(yo\right)}$$

Entonces el elemento estadístico ddEl número de$d$$F\left(d\right)$ se formula de la siguiente manera, donde${METRO}_{h(d}$significa $M$ está en la posiciónh ( d ) h(d)valor de$h$$($$d$$)$

$$F\left(re\right)=\frac{}{metro-1}(M_{h(d}-\frac{}{metro})$$

Se puede demostrar que $F\left(d\right)$ esf ( d ) f(d)La estimación imparcial de$f$$($$d$$)$$mi\left[F\right(d)]=f\left(d\right)$ , donde$f\left(d\right)$ es el elemento$El\; número\; real\; de\; d$ . Esto significa que la desviación esperada del valor estimado del valor real es cero, lo que garantiza la falta de sesgo del valor estimado.

Posprocesamiento § : en diferentes escenarios de aplicación, las estadísticas calculadas pueden tener un conocimiento previo, como la limitación del rango de valores (como mayor que 0), o mantener la suma sin cambios (como el número de estadísticas), entonces debe ser operaciones de posprocesamiento. La naturaleza de la privacidad diferencial es tal que cualquier operación de posprocesamiento no afecta la privacidad de sus resultados .

2.3 Otras tecnologías

Hay muchos aspectos a considerar en la protección de la privacidad de datos, y solo el uso de tecnología de privacidad diferencial no puede resolver todos los problemas . Apple también utiliza otras tecnologías en el plan para proteger la privacidad de los datos, como la desensibilización de datos, el cifrado de comunicaciones, el control de acceso , etc.

1. Los datos subidos por el usuario tienen información como identificadores de dispositivos y marcas de tiempo eliminadas
2. La comunicación entre el usuario y el servidor utiliza el protocolo TLS, es decir, transmisión de datos encriptada
3. Después de que el servidor recibe los datos del usuario, primero elimina la metainformación , como la dirección IP y la marca de tiempo , y cambia el orden de los datos (shuffle)
4. La agregación de datos se realiza en un entorno de acceso restringido
5. Los datos solo circulan dentro de Apple, y los empleados de Apple no pueden acceder a los datos a voluntad.

2.4 Presupuesto de privacidad

Después de ver esto, todos deberían entender que la privacidad diferencial es lograr la protección de la privacidad aumentando el ruido (perturbación) , pero debido al aumento de la perturbación, el resultado de la agregación será inexacto (aumentará la varianza de las estadísticas). Entonces, lo siguiente presenta el presupuesto de privacidad ϵ \epsilon que equilibra la privacidad y la practicidad del algoritmo.$ϵ$ .

En privacidad diferencial el presupuesto de privacidad $La\; elección\; de\; ϵ$ afectarála privacidad y la practicidad del algoritmo, lo que se denomina compensación entre Privacidad-Utilidad. Menor presupuesto de privacidad$ϵ$ significa una fuerte capacidad de protección de la privacidad. Por ejemplo, la probabilidad de perturbación de aleatorización de bits de datos$pag=1/(1+{mi}^{ϵ/2})$, y$El\; valor\; de\; ϵ$ hará$p$ aumenta, por lo que el riesgo de fuga de privacidad disminuirá, pero esto también afectará la precisión de los resultados.

Además, aunque se agregan perturbaciones de privacidad diferencial a los datos, el mismo usuario continuará cargando nuevos datos.De acuerdo con el teorema de combinación de cadenas de privacidad diferencial, el presupuesto de privacidad $ϵ$ aumentará gradualmente con el tiempo. Por lo tanto,Appleha limitado la cantidad máxima de veces que los usuarios pueden cargar datos por día y dijo que los datos solo se conservarán durante un máximo de tres meses.

nombre del producto	Presupuesto de privacidad ϵ \epsilonEl valor de$ϵ$	Número máximo de cargas de datos/día
Sugerencias de QuickType	8	2
Sugerencias de emoji (predicción de emoji)	4	1
Sugerencias de búsqueda	4	2
Safari Energy Drenaje de dominios y dominios de bloqueo	4	2
Detección de intención de reproducción automática de Safari	8	2
Uso del tipo de salud	2	1

Algunas investigaciones [6] señalaron que Apple debería explicar cómo establecer el presupuesto de privacidad ϵ \epsilonEl valor de$ϵ\; ,\; informar\; al\; usuario\; y\; hacerlo\; transparente.$Por ejemplo, aunque el presupuesto de privacidad ϵ \epsilondeclarado en el producto Emoji$El\; valor\; de\; ϵ$ es 1, pero se encuentra que es 2 después de la ingeniería inversa del código (datos de iOS 10.1.1 y MacOS 10.12.3). Además, la acumulación de presupuestos de privacidad a lo largo del tiempo también es un problema importante para sus esquemas.

3. Optimización del programa

Lo que se describe en la Sección 2 es una versión simplificada del esquema, mientras que el esquema de Apple se ha optimizado para la comunicación, la precisión de las estadísticas y la adaptación de la escena [2] de la siguiente manera:

1. Para reducir el impacto de las colisiones hash, en realidad hay $Funciones\; hash\; K$ , cada usuario selecciona una aleatoriamente al codificar e informa al servidor de la función hash seleccionada. El servidor construye$k$ tablas hash y luego realizar cálculos de agregación.
2. Para reducir el tráfico, la solución de Apple realiza la transformación de Hadamard en los datos codificados y selecciona aleatoriamente 1 bit de datos para enviar al servidor mediante muestreo. Esto no solo reduce la cantidad de comunicación, sino que tampoco aumenta la varianza de las estadísticas.
3. Los datos de los emoticonos generalmente son fijos, pero en algunos escenarios, los datos de los usuarios son impredecibles. Como aprender nuevo vocabulario popular, sitio web de estadísticas. Apple adoptó la tecnología Sequence Fragment Puzzle y diseñó una solución de privacidad diferencial localizada.

4. Prueba de estimación imparcial

Aquí todavía se explica en el orden del marco del algoritmo ( ERAP ), demostrando que $F\left(d\right)$ esf ( d ) f(d)Una estimación imparcial de$f$$($$d$$)\; .$

4.1 Codificación _

usuario $La\; tabla\; hash\; de\; i$ es$v^{\left(i\right)}$ , elemento$La\; posición\; de\; mapeo\; de\; d$ en la tabla es$h\left(d\right)$ , su valor de codificación correspondiente es$v_{h\left(d\right)}^{(yo}$. usuario iiEl elemento subido por$i$$d^{\left(i\right)}$ , el valor de codificación de su posición correspondiente es "1", y las posiciones restantes de la tabla hash son "-1". Entonces cuando$d^{\left(yo\right)}=d$时，$v_{h\left(d\right)}^{(yo}$expectativas para

$$mi\left[v_{h\left(d\right)}^{(yo}\right]=1$$

Dado que puede haber colisiones (colisiones) en la tabla hash, es decir, se marcan diferentes elementos en la misma posición. Suponiendo que la probabilidad de asignación de datos a diferentes ubicaciones es la misma, la probabilidad de colisión es $1$ /$metro$Por lo tanto cuando$d^{\left(yo\right)}\ne d$时，$v_{h\left(d\right)}^{(yo}$expectativas para

$$mi\left[v_{h\left(d\right)}^{(yo}\right]=\frac{}{metro}\cdot 1+(1-\frac{}{metro})\cdot (-1)\_=\frac{}{metro}-1$$

Por lo tanto $v_{h\left(d\right)}^{(yo}$expectativas para

$$mi\left[v_{h\left(d\right)}^{(yo}\right]=yo\{d^{\left(yo\right)}=re\}+(\frac{}{metro}-1)yo\{{re}^{\left(yo\right)}\ne re\}$$

4.2 Aleatorización _

La probabilidad de un cambio de bit cuando se aleatoriza es $pag=1/(1+{mi}^{ϵ/2})$. Supongamos que la variable aleatoria$B\in \{-1,1\}$ ,$\mathrm{PR}(B)=-1)=pag$ _

$mi\left[segundo\right]=pag\cdot (-1)\_+(1-pag)\cdot 1=1-2p\_=\frac{{mi}^{ϵ/2}-}{{mi}^{ϵ/2}+1}=\frac{}{C_{}}$,Dado $C_{}=\frac{{mi}^{ϵ/2}+}{{mi}^{ϵ/2}-1}$

usuario $La\; tabla\; hash\; después\; de\; la\; aleatorización\; i$ es$B{v}^{\left(i\right)}$ , elemento$El\; valor\; codificado\; de\; d$ en la tabla es$B{v}_{h\left(d\right)}^{(yo}$。

$$mi\left[segundo{v}_{h\left(d\right)}^{(yo}\right]=mi\left[segundo\right]\cdot mi\left[v_{h\left(d\right)}^{(yo}\right]=\frac{}{C_{}}mi\left[v_{h\left(d\right)}^{(yo}\right]$$

4.3 Agregación _

El servidor convierte la tabla hash aleatoria, es decir, calcula $x$ _ elemento$d$ en el usuarioiiEl valor codificado de la posición de mapeo después de$la\; conversión\; de\; la\; tabla\; hash\; i$$X_{h\left(d\right)}^{(yo}$,

$$X_{h\left(d\right)}^{(yo}=\frac{C_{}B{v}_{h\left(d\right)}^{(yo}+}{2}$$

当$d^{\left(yo\right)}=re$ ,$mi\left[{do}_{}B{v}_{h\left(d\right)}^{(yo}\right]=1$ , entonces

$$mi\left[x_{h\left(d\right)}^{(yo}\right]=1$$

当$d^{\left(yo\right)}\ne re$ ,$mi\left[{do}_{}B{v}_{h\left(d\right)}^{(yo}\right]=\frac{}{metro}-1$ , entonces

$$mi\left[x_{h\left(d\right)}^{(yo}\right]=\frac{}{metro}$$

Entonces $X_{h\left(d\right)}^{(yo}$expectativas para

$$mi\left[x_{h\left(d\right)}^{(yo}\right]=yo\{d^{\left(yo\right)}=re\}+\frac{}{metro}yo\{d^{\left(yo\right)}\ne re\}$$

poner todo $Acumular\; x$ , calcular$M$ , elemento$d$ enMMEl valor codificado de la posición mapeada en$M$${METRO}_{h(d}$,

$${METRO}_{h(d}=\sum _{yo=1}{X}_{h\left(d\right)}^{(yo}$$

Calcule su expectativa, donde $f\left(d\right)$ es el elementoddel número real de$d$

$$\begin{array}{rl}mi\left[{me}_{h(d}\right]& =mi\left[\sum _{yo=1}{X}_{h\left(d\right)}^{(yo}\right]\\ & =\sum _{yo=1}yo\{d^{\left(yo\right)}=re\}+\frac{}{metro}\sum _{yo=1}yo\{d^{\left(yo\right)}\ne re\}\\ & =f\left(re\right)+\frac{}{metro}(n-f(d\left)\right)\\ & =\frac{metro-}{metro}f\left(re\right)+\frac{}{metro}\end{array}$$

Como $F\left(d\right)$ es el elemento$El\; valor\; estadístico\; de\; d$ números, su fórmula de cálculo es

$$F\left(re\right)=\frac{}{metro-1}(M_{h(d}-\frac{}{metro})$$

entonces

$$mi\left[F\right(d)]=f\left(re\right)$$

即$F\left(d\right)$ esf ( d ) f(d)Una estimación imparcial de$f$$($$d$$)\; .$

Una pequeña variación de una estadística significa una alta precisión de estimación. Acerca de las estadísticas $F\left(d\right)$ Consultela prueba de la variación.

El método anterior de derivación de fórmulas demuestra la precisión del algoritmo de "privacidad diferencial" adoptado por Apple , que puede realizar cálculos estadísticos bajo la condición de que "los datos estén disponibles pero no sean visibles".

cinco, finalmente

La tecnología de privacidad diferencial aparentemente "inalcanzable" en realidad ha entrado en nuestra vida y trabajo diarios para proteger nuestra privacidad personal.

Este artículo explica el principio de la tecnología de privacidad diferencial de Apple a través de gráficos fáciles de entender y una derivación rigurosa de fórmulas, con la esperanza de despertar su interés en la tecnología informática de privacidad. Finalmente, si tiene alguna otra tecnología relacionada con la informática de privacidad que desea conocer , ¡déjenos un mensaje para informarnos!

PrimiHub es una plataforma informática de privacidad de código abierto creada por un equipo de expertos en criptografía. Nos enfocamos en compartir tecnologías y contenido en campos de computación de privacidad como seguridad de datos, criptografía, aprendizaje federado y encriptación homomórfica.

referencias

[1] Resumen técnico de privacidad diferencial de Apple. https://www.apple.com/privacy/docs/Differential_Privacy_Overview.pdf

[2] Equipo de privacidad diferencial, Apple. “Aprendizaje con privacidad a escala”. (2017). https://docs-assets.developer.apple.com/ml-research/papers/learning-with-privacy-at-scale.pdf

[3] Warner, Stanley L. "Respuesta aleatoria: una técnica de encuesta para eliminar el sesgo de respuesta evasiva". Revista de la Asociación Estadounidense de Estadística 60, no. 309 (1965): 63-69. https://www.jstor.org/stable/2283137

[4] Thakurta, Abhradeep Guha, Andrew H. Vyrros, Umesh S. Vaishampayan, Gaurav Kapoor, Julien Freudiger, Vivek Rangarajan Sridhar y Doug Davidson. "Aprender nuevas palabras". Patentes estadounidenses concedidas 9645998 (2017). https://patents.google.com/patent/US9645998

[5] Thakurta, Abhradeep Guha, Andrew H. Vyrros, Umesh S. Vaishampayan, Gaurav Kapoor, Julien Freudinger, Vipul Ved Prakash, Arnaud Legendre y Steven Duplinsky. "Detección de frecuencia de emoji y frecuencia de enlace profundo". Patentes estadounidenses concedidas 9705908 (2017). https://patents.google.com/patent/US9705908

[6] Tang, Jun, Aleksandra Korolova, Xiaolong Bai, Xueqiang Wang y Xiaofeng Wang. "Pérdida de privacidad en la implementación de Apple de privacidad diferencial en macos 10.12". preimpresión de arXiv arXiv:1709.02753 (2017). https://arxiv.org/pdf/1709.02753