Extracto de aprendizaje federado

concepto basico

fondo

Antecedentes de la época: Énfasis en la verificación de los derechos de los datos y la protección de la privacidad
La verificación de los derechos de los datos, que enfatiza la propiedad y los derechos de uso de los datos,
el aprendizaje federado de "isla de datos", como un nuevo paradigma de aprendizaje automático, puede resolver las islas de datos y los problemas de protección de la privacidad.

Resolver silos de datos

Nivel de hardware: establecer aislamiento físico
Tecnologías comunes: entorno de ejecución confiable, computación perimetral

tecnología	Idea principal	características	insuficiente
Entorno de ejecución de confianza	Coloque los datos privados y el procesamiento de datos correspondiente en un entorno confiable	Menos difícil de construir	Sin embargo, es necesario crear un entorno confiable unificado para datos de múltiples partes, por lo que el costo de construcción es relativamente alto.
computación de borde	Limite los datos de privacidad y las operaciones de datos correspondientes de los dispositivos de todas las partes al borde del dispositivo y proporcione el servicio informático más cercano	Reduce la posibilidad de fuga de información confidencial durante la transmisión y en el servidor principal, resuelve de manera efectiva la fuga de privacidad del usuario y los problemas de seguridad de los datos, tiene cierta capacidad para lidiar con la explosión de datos y reduce de manera efectiva la presión sobre el tráfico de red desde el borde hasta el centro.	Los requisitos para los dispositivos de borde son altos. En segundo lugar, en la aplicación de inteligencia artificial, la computación de borde carece de la capacidad de coordinar múltiples partes para el aprendizaje conjunto, por lo que el rendimiento del modelo aprendido es mucho más bajo que el del modelo de aprendizaje centralizado.

Nivel de software: A nivel de datos y comunicación, los datos se cifran para evitar que los atacantes intercepten y descifren datos privados.
Los principales resultados de la investigación: protocolo de comunicación de seguridad de red y tecnología de criptografía, etc. Como el protocolo Kerberos; algoritmos criptográficos, como algoritmo de cifrado asimétrico: algoritmo RSA (Rivest-Shamir-Adleman), algoritmo de cifrado simétrico: DES, etc. criptografía poscuántica

Las soluciones a nivel de software tienen requisitos bajos en el entorno de hardware y pueden proporcionar una mayor protección de la privacidad de los datos.Sin embargo,
cómo usar datos cifrados para coordinar a múltiples partes para un entrenamiento conjunto eficiente se ha convertido en una dificultad en el campo del aprendizaje automático.

concepto

Historial de desarrollo de aprendizaje automático: etapa de aprendizaje centralizado, etapa de aprendizaje in situ distribuida, etapa de aprendizaje federado

Fase de aprendizaje	la idea basica	características	insuficiente
aprendizaje concentrado	"El modelo no se mueve, los datos se mueven", todos los datos del terminal se transmiten al servidor principal	El modelo puede reflejar mejor el valor potencial de los datos y su rendimiento es relativamente mejor.	Hay ciertos riesgos de seguridad de datos.
Aprendizaje de campo distribuido	Los datos de un sistema realizan tareas de aprendizaje automático por separado en la fuente	Reduzca la tasa de circulación de información confidencial y proteja de manera efectiva los derechos de datos de todas las partes	Esto ha llevado al fenómeno de las "islas de datos", donde el conocimiento de aprendizaje de todas las partes es demasiado unilateral y el modelo carece de capacidades de globalización y generalización.
aprendizaje federado	"Los datos no se mueven, el modelo se mueve", cada participante no necesita intercambiar datos de muestra y sus variantes, solo necesita intercambiar datos intermedios relacionados con el modelo y sus variantes, y luego el servidor maestro agregará de forma segura los datos intermedios y retroalimentarlo a los participantes, los participantes son responsables de actualizar sus propios modelos en función de la información del modelo agregado	Garantiza efectivamente la seguridad y privacidad de los datos confidenciales de cada participante, y realiza la protección de datos privados mientras integra el conocimiento contenido en los datos de múltiples participantes.

Suplemento:
aprendizaje in situ distribuido:
resuelve el problema de la seguridad de los datos y la protección de la privacidad
Ejemplo típico: computación perimetral: limite los datos que se analizarán al entorno perimetral del dispositivo para el aprendizaje in situ y agregue los resultados finales del aprendizaje al servidor principal para agregados y almacenados.

Con el fin de resolver el problema de privacidad de datos del aprendizaje centralizado y el problema de la isla de datos del aprendizaje distribuido en el sitio,
H. Brendan McMahan et al. propusieron por primera vez el aprendizaje federado y lo aplicaron al sistema Gboard del método de entrada de Google para realizar el candidato. predicción de palabras del método de entrada.

Google propuso la tecnología de aprendizaje federado (FL, federated learning), que protege eficazmente la privacidad y la seguridad de los usuarios al transferir el almacenamiento de datos y las etapas de entrenamiento del modelo del aprendizaje automático a los usuarios locales, y solo interactúa con el servidor central para actualizar el modelo.

La diferencia entre el aprendizaje federado y el aprendizaje distribuido tradicional

Campo de aplicación
El aprendizaje federado se usa para entrenar datos con atributos sensibles a la privacidad

Atributos de datos
El aprendizaje automático distribuido y el aprendizaje automático clásico a menudo tratan con datos independientes e idénticamente distribuidos.
Debido a las grandes diferencias entre clientes, el aprendizaje federado a menudo trata con datos no independientes e idénticamente distribuidos.
Cuando las características de los datos y las etiquetas de clasificación entre clientes son muy diferentes diferente, también se requiere trabajo de alineación durante el entrenamiento.

Composición del sistema
La composición física es similar: consta de un servidor central y varios nodos distribuidos.
Sistema distribuido: el servidor central programa uniformemente el cálculo de datos y la actualización del modelo, la demora entre los nodos y el servidor central es pequeña y el tiempo de entrenamiento del modelo está determinado principalmente por el tiempo de cálculo.

Sistema de federación: todos los participantes tienen el mismo estatus, deciden de forma independiente si participan en la capacitación y tienen un poder de cómputo relativamente grande. El sistema debe considerar factores como el retraso en la transmisión de datos, la distribución idéntica y no independiente de los datos y la seguridad de la privacidad.

Diferencias: agregación federada (algoritmo de optimización): proporciona ideas para resolver la distribución idéntica y no independiente de los datos y aliviar la heterogeneidad de los datos.
El aprendizaje federado tiene capacidades de protección de la privacidad, por lo que cada enlace debe prestar atención a la aplicación de algoritmos de cifrado.

El aprendizaje federado es esencialmente una tecnología de aprendizaje automático distribuido. En el escenario de la agregación de fuentes de datos de múltiples partes, el modelo óptimo global se puede entrenar en colaboración sin compartir datos.
Cada propietario de datos no solo puede proteger la privacidad del usuario en el proceso de aprendizaje automático, sino también compartir datos de capacitación sin agregar datos de origen. A través del método de intercambio de parámetros bajo el mecanismo de cifrado en el sistema federal (sin violar las normas de privacidad de datos), se establece conjuntamente un modelo de intercambio global para servir a los objetivos locales.

Debido a las diferencias en la distribución de clientes en geografía y tiempo, el aprendizaje federado a menudo tiene que lidiar conNo IIDPara integrar datos
de múltiples fuentes, es una práctica común mover datos de diferentes fuentes a bases de datos relacionales a través de herramientas ETL de preprocesamiento de datos e implementar tareas en múltiples máquinas para mejorar la eficiencia informática y reducir el consumo de energía de las tareas.

Marcos comúnmente utilizados: arquitectura cliente-servidor, arquitectura de red peer-to-peer

Arquitectura cliente-servidor
Cada titular de datos entrena el modelo localmente de acuerdo con sus propias condiciones y reglas, resume los parámetros de desensibilización al servidor central para el cálculo y actualiza el modelo local de acuerdo con los parámetros enviados hasta que el modelo global sea robusto.

Arquitectura de red punto a punto
Los participantes pueden comunicarse directamente sin un tercero, mejorando la seguridad, pero requiriendo más operaciones informáticas para el cifrado y descifrado.

Actualmente hay más marcos basados ​​en servidores de terceros, a saber, marcos cliente-servidor.

El servidor recopila gradientes y devuelve nuevos gradientes después de las operaciones de agregación.
El titular de los datos entrena los datos localmente para proteger la privacidad de los datos. El gradiente generado por la iteración se utiliza como información interactiva después de la desensibilización y se carga en un servidor de confianza de terceros en lugar de datos locales (parece que el servidor y los participantes son de confianza de forma predeterminada). , y por lo tanto habrá un ataque correspondiente y luego lo mejorará), esperando los parámetros devueltos para actualizar el modelo.

Pasos:
1. Inicialización del sistema
El servidor central envía la tarea de modelado y el titular de los datos del cliente propone una idea de modelado conjunto de acuerdo con sus propias necesidades (en este momento, se necesita un mecanismo de incentivo para aumentar la participación). Después de que los titulares de los datos lleguen a un acuerdo, el servidor central les dará a conocer los parámetros iniciales.

2 Cálculos locales
Cada poseedor de datos realiza cálculos locales localmente, insensibiliza los gradientes obtenidos y los carga para una actualización del modelo global.

3 Agregación central
El servidor central agrega los resultados de los cálculos recibidos de varios titulares de datos.
En este momento, se deben considerar la eficiencia, la seguridad, la privacidad y otros temas.

4. Actualización del modelo
El servidor central actualiza el modelo global de acuerdo con los resultados de la agregación y devuelve el modelo actualizado a todos los participantes. El titular de los datos actualiza el modelo local, realiza el siguiente cálculo local y evalúa el rendimiento del modelo actualizado al mismo tiempo.
Cuando el rendimiento es lo suficientemente bueno, el entrenamiento finaliza y el modelo global establecido se mantiene en el servidor central.

Posibles cambios:
Reduzca adecuadamente la frecuencia de comunicación para garantizar la eficiencia del aprendizaje; agregue un juicio lógico después de la agregación para juzgar la calidad de los resultados de los cálculos locales recibidos para mejorar la solidez del sistema de aprendizaje federado.

Los clientes del proceso de aprendizaje federado
(como tabletas, teléfonos móviles y dispositivos IoT) entrenan modelos de forma conjunta bajo la coordinación de un servidor central (como un proveedor de servicios), donde el cliente es responsable de entrenar los datos locales para obtener un modelo local. (modelo local). El servidor central es responsable de la agregación ponderada de modelos locales para obtener un modelo global.
Después de múltiples rondas de iteraciones, finalmente se obtiene un modelo w que está cerca de los resultados del aprendizaje automático centralizado, lo que reduce de manera efectiva muchos riesgos de privacidad provocados por la agregación de datos de fuente de aprendizaje automático tradicional.

un proceso iterativo

(1) El cliente descarga el modelo global wt−1 del servidor.
(2) El cliente k entrena los datos locales para obtener el modelo local wt,k, (la actualización del modelo local de la t-ésima ronda de comunicación del cliente k-ésimo).
(3) Los clientes de todas las partes cargan actualizaciones de modelos locales en el servidor central.
(4) El servidor central realiza una operación de agregación ponderada después de recibir los datos de todas las partes para obtener el modelo global wt (actualización del modelo global de la t-ésima ronda de comunicación).

Características técnicas:

① Los datos originales que participan en el aprendizaje federado se mantienen en el cliente local y solo la información de actualización del modelo interactúa con el servidor central. (Protección de la privacidad)
② El modelo formado conjuntamente por los participantes del aprendizaje federado será compartido por todas las partes. (Modelo compartido)
③ La precisión del modelo final del aprendizaje federado es similar a la del aprendizaje automático centralizado. (Garantía de precisión)
④ Cuanto mayor sea la calidad de los datos de entrenamiento de los participantes del aprendizaje federado, mayor será la precisión del modelo global. (La calidad impulsa la precisión)

Principio del algoritmo:

La función objetivo F(w) generalmente se expresa como:

m es el número total de dispositivos cliente que participan en el entrenamiento, n es la suma del volumen de datos de todos los clientes, n k es el _volumen de datos del k-ésimo cliente, F _k ( w) es la función objetivo local del k-ésimo dispositivo.

d _k es el conjunto de datos local del késimo cliente, f _i (w) = α(x _i , y _i , w _i ) es un modelo con parámetro w para instancias en el conjunto de datos d _{k (x i} , y _i ) El resultado función de pérdida.
La suma de las funciones de pérdida generadas por todas las instancias en d _k dividida por el volumen total de datos del cliente k es la función de pérdida promedio del cliente local.
Múltiples optimizaciones iterativas permiten que la función de pérdida alcance el valor mínimo. (La función de pérdida es inversamente proporcional a la precisión del modelo, por lo que la optimización de la función objetivo del aprendizaje automático suele ser minimizar la función de pérdida).

En el algoritmo de optimización de función objetivo de aprendizaje federado se suele utilizar el algoritmo de descenso de gradiente estocástico (SGD) de lotes grandes, es decir, la función de pérdida entrenada por el modelo de cliente local se multiplica por una tasa de aprendizaje fija η para calcular una nueva ronda de actualizaciones de peso.

Taxonomía de aprendizaje federado

Suposición: Dm representa los datos que posee el cliente m, I representa el ID de la muestra, Y representa la información de la etiqueta del conjunto de datos y X representa la información de características del conjunto de datos. Por lo tanto, un conjunto de datos de entrenamiento completo D debe estar compuesto por (I, Y, X ) constituyen. Clasifique los métodos de aprendizaje federado de acuerdo con la información de características X del conjunto de datos que participa en el cliente de entrenamiento.

método de estudio	características	ejemplo	Naturaleza
Aprendizaje federado horizontal (HFL)	Las características del conjunto de datos X y la información de la etiqueta Y son las mismas, pero los ID de las muestras son diferentes	Modelo de predicción de la siguiente palabra para el método de entrada del usuario	La extracción de entrenamiento se realiza en la misma descripción de características para diferentes objetos.
Aprendizaje federado vertical (VFL)	Las características X y la información de la etiqueta Y de cada conjunto de datos son diferentes, pero la información de identificación de la muestra es la misma.	Bancos y plataformas de comercio electrónico en la misma región	Varias partes están capacitadas para extraer diferentes descripciones de características del mismo objetivo.
Aprendizaje de Transferencia Federada (FTL)	La característica del conjunto de datos X, la información de la etiqueta Y y la información de identificación de la muestra son todas diferentes	Es un proyecto de intercambio de datos transfronterizo e interdepartamental para resolver los problemas de pocas muestras etiquetadas y conjuntos de datos insuficientes.

Suplemento: en el aprendizaje federado vertical, una parte domina la información de la etiqueta de capacitación Y, y todas las partes obtienen el modelo global vertical ingresando la información de la característica X.

método de estudio	establecer la premisa	características
Aprendizaje federado horizontal (HFL)	Los conjuntos de datos de las dos partes tienen una gran superposición de espacio de características.Los datos de cada participante tienen un espacio de etiqueta	Aprendizaje federado por muestra
Aprendizaje federado vertical (VFL)	realizado entre partes con más superposición de datos de muestra,Solo los datos de un participante tienen un espacio de etiqueta y los datos de los otros participantes no tienen un espacio de etiqueta	Aprendizaje federado por característica
Aprendizaje de Transferencia Federada (FTL)	Dos conjuntos de datos con una pequeña superposición en el espacio muestral y el espacio de características,Solo los datos de un participante tienen espacio de etiqueta	No requiere un servidor maestro (coordinador) para actuar como coordinador entre las partes

La mayor parte de la investigación actual se basa en HFL y VFL.
En HFL, la alineación se realiza de acuerdo con la dimensión de coincidencia de las características, y la parte de los datos de los participantes con las mismas características pero no exactamente los mismos usuarios se extrae para el entrenamiento conjunto.
En VFL, el emparejamiento se realiza de acuerdo con la identificación del usuario, y la parte de los datos del participante con el mismo usuario pero características diferentes se toma para el entrenamiento conjunto.

Aprendizaje federado horizontal

Fue propuesto por primera vez y ampliamente utilizado.
El espacio cubre los datos de muestra de múltiples participantes, pero el espacio de funciones utilizado se limita a las partes superpuestas entre los participantes. El
equipo del usuario transmitirá la información del modelo del modelo local al servidor principal. El servicio agrega toda la información del modelo de forma segura, cifra la información agregada y la transmite a todos los dispositivos de los usuarios.Finalmente, los dispositivos de los usuarios actualizan sus modelos locales en función de la información agregada del servidor maestro.

Pasos principales:
Paso 1: el participante crea un modelo local basado en su propio conjunto de datos;
Paso 2: el participante cifra la información del modelo local, como el gradiente, utilizando un algoritmo de cifrado, como el cifrado homomórfico, y luego envía la información del modelo encriptado al servidor principal.
Paso 3: El servidor maestro realiza la agregación de seguridad basada en la información del modelo de los participantes. Los algoritmos comunes de agregación de seguridad incluyen el algoritmo promedio federado (FedAvg) y el algoritmo de agregación del modelo federado heterogéneo (algoritmo FedProx).
Paso 4: El servidor maestro transmite la información agregada a todos los participantes.
Paso 5: el participante descifra la información de agregación enviada por el servidor maestro y actualiza el modelo local en consecuencia.
Repita los pasos anteriores hasta que se alcance la condición de parada preestablecida.

El espacio de características de múltiples conjuntos de datos es el mismo, y el intercambio de conocimientos de todas las partes se puede realizar sin conocer los datos de otras fuentes.
No es adecuado para el caso de aprendizaje federado entre dominios con grandes diferencias en los espacios de funciones entre los participantes.

Aprendizaje federado vertical

Los datos de muestra se dividen en función del espacio de funciones, y el espacio de datos aprendido solo contiene muestras con funciones superpuestas, lo que es
más adecuado para realizar tareas de aprendizaje automático entre industrias y entre dominios, como el sistema de entrega de publicidad federada propuesto por Weishi. y anunciantes.
Puede agregar las características de los datos y las características del conocimiento de ambas partes sin filtrar o intercambiar los datos de muestra de ambas partes.

En el aprendizaje federado vertical, el servidor maestro también se denomina coordinador. El proceso de aprendizaje del aprendizaje federado vertical incluye principalmente 5 pasos principales:
Paso 1: Alineación de datos.
Propósito: bajo la premisa de proteger la privacidad y la seguridad de los datos de todos los participantes, encuentre muestras comunes y proporcione muestras comunes para realizar tareas de aprendizaje federadas. Los métodos comunes de alineación de datos incluyen el algoritmo propuesto por SAHU AK et al.
Paso 2: El servidor maestro envía la clave pública a cada participante. Al mismo tiempo, los participantes construyen un modelo local inicial basado en muestras comunes y luego envían información cifrada del modelo, como gradientes y valores de pérdida, al servidor principal.
Paso 3: el servidor principal descifra la información del modelo de los participantes y calcula los resultados de cálculo necesarios para que los participantes actualicen el modelo y los envía de vuelta a los participantes.
Paso 4: Los participantes actualizan el modelo local de acuerdo con los resultados del cálculo del servidor maestro. Al mismo tiempo, todas las partes compartirán los resultados del cálculo intermedio con otros participantes para ayudar a la otra parte a calcular la información del modelo, como gradientes y valores de pérdida.
Paso 5-1: para algunos algoritmos de aprendizaje federados verticales, los participantes también guardarán la identificación del modelo local en el servidor principal, de modo que durante el proceso de predicción, el servidor principal sepa qué participantes necesitan enviar nuevos datos al servidor federado. predicción Por ejemplo, en el algoritmo SecureBoost, el participante informará al servidor principal de [id de registro, función, umbral] y el espacio de muestra dividido. Al mismo tiempo, el servidor principal asociará el nodo de procesamiento actual con la información de partición de los participantes. Por lo tanto, solo el servidor principal conoce la estructura de todo el árbol de decisión. Cuando haya una nueva muestra para predecir, el servidor principal enviará los datos a los participantes asociados con el nodo actual, para que los participantes puedan usar el modelo local. para calcular el umbral y conocer el siguiente paso del árbol Dirección de búsqueda.
Paso 5-2: en particular, algunos algoritmos de aprendizaje federado longitudinal que requieren que todos los participantes participen en la predicción, como la regresión lineal federada segura, no requieren que los participantes informen al servidor principal de la identificación del modelo necesario.
En el aprendizaje federado vertical, cada parte tiene características diferentes, por lo tanto, en el proceso de entrenamiento del modelo federado, todas las partes deben intercambiar resultados intermedios para ayudarse mutuamente a aprender el conocimiento de la característica que dominan.

Aprendizaje de transferencia federada

El propósito es hacer que el modelo tenga la capacidad de inferir otros casos a partir de una instancia, y cuando hay menos información cruzada en el espacio muestral y el espacio de características de cada participante, se usa el algoritmo de aprendizaje por transferencia para construir el modelo mutuamente.
Modo de aprendizaje: use los parámetros del modelo que un participante ha entrenado en la iteración actual, migre a otro participante y ayúdelo en una nueva ronda de entrenamiento del modelo.

Paso 1: los participantes construyen modelos locales basados ​​en sus propios conjuntos de datos;
Paso 2: los participantes ejecutan sus respectivos modelos locales para obtener una representación de datos y un conjunto de resultados intermedios, que se cifran y envían a la otra parte.
Paso 3: la otra parte usa los resultados intermedios recibidos para calcular el gradiente de cifrado y el valor de pérdida del modelo, agrega la máscara y se la envía al participante original.
Paso 4: Cada parte descifra la información recibida y la envía a la otra parte. Luego, las partes usan la información del modelo descifrado para actualizar sus respectivos modelos.
Repita los pasos anteriores hasta que la pérdida converja.
En este proceso, cada participante utiliza el modelo actual de la otra parte y la representación potencial de los datos para actualizar sus modelos locales y realizar el modelo federado de transferencia de aprendizaje.

En general, el aprendizaje de transferencia federado se puede dividir en aprendizaje de transferencia federado basado en muestras, aprendizaje de transferencia federado basado en características, aprendizaje de transferencia federado basado en parámetros y aprendizaje de transferencia federado basado en correlación:

Clasificación	la idea basica
Aprendizaje de transferencia federado basado en muestras (instancias)	Cada participante ajusta selectivamente el peso de las muestras utilizadas para el entrenamiento para reducir la diferencia de distribución entre muestras de diferentes participantes, y entrena conjuntamente para obtener un modelo de transferencia federado.
Aprendizaje de transferencia federado basado en características	Al minimizar las diferencias de distribución de la muestra o las diferencias de características entre los diferentes participantes, se aprende de forma colaborativa un espacio de características común, y el espacio de características se utiliza para reducir el número de categorías de clasificación o errores de regresión para realizar la construcción de un modelo de migración federado.
Aprendizaje de transferencia federado basado en parámetros (modelo)	Los participantes utilizan la información del modelo de otras partes o las relaciones anteriores para inicializar o actualizar los modelos locales, aprovechando así las representaciones de datos y el conocimiento de otras partes.
Aprendizaje de transferencia federado basado en la dependencia	El mapeo de correlación se lleva a cabo en el conocimiento o espacio de características de diferentes participantes, y el modelo local se actualiza con el mapeo de conocimiento de otros participantes según el orden de correlación, para aprender más conocimiento.

La característica más importante del aprendizaje de transferencia federado es que se basa en la representación de datos de múltiples partes para modelar, pero los datos de un determinado participante no pueden fluir a otras partes, mientras que el aprendizaje de transferencia tradicional no impone restricciones, por lo que el aprendizaje de transferencia federado protege eficazmente los datos del usuario.Privacidad y seguridad.

Clasificación de algoritmos

El sistema de aprendizaje federado es un sistema de formación modelo orientado a múltiples clientes. Durante el entrenamiento, los datos se mantienen localmente en el cliente y el servidor central los integra de acuerdo con la actualización del modelo local enviada por el cliente y finalmente completa el entrenamiento del modelo compartido.

Algoritmo de aprendizaje federado basado en aprendizaje automático

Basado en el modo iterativo único y las características del aprendizaje federado (las dos partes intercambian parámetros de entrenamiento para completar el modelado conjunto sobre la base de que los datos no salen del área local), llevar a cabo modificaciones específicas

1 algoritmo lineal federado

El método de implementación de la regresión logística federada longitudinal en el marco del aprendizaje federado central (cifrado homomórfico, la introducción de gradientes de actualización asistidos por vectores que reflejan los cambios del modelo, actualizaciones periódicas de gradientes) El método de implementación de la regresión logística federada longitudinal en el marco del aprendizaje federado
descentralizado (con la retención de datos etiquetada, la Parte toma la iniciativa, asumiendo la responsabilidad del servidor central cancelado, el cifrado de gradiente de las transmisiones y la adición de ruido)

###2 Modelo de árbol federado
Un método de implementación de bosque aleatorio basado en el marco de aprendizaje federado longitudinal central:
cada árbol en el bosque federado implementa el modelado conjunto y la estructura se almacena en el servidor central y en cada contenedor de datos, pero solo cada contenedor de datos contiene Hay información de los nodos de puntuación que coincide con sus propias características (para garantizar la privacidad de los datos).El
servidor central retiene la información estructural completa y cada titular de datos guarda la información de los nodos.
Cuando se utiliza la predicción del modelo, la información de nodo de otros clientes en la estructura de árbol se llama de forma conjunta a través del nodo central, lo que reduce la frecuencia de comunicación de cada árbol durante la predicción, lo que puede mejorar la eficiencia de la comunicación.

SecureBoost: marco de aprendizaje federado vertical descentralizado basado en el árbol de decisiones de aumento de gradiente (GBDT). Contiene titulares de datos etiquetados y titulares de datos no etiquetados.
Adopte un enfoque de modelado conjunto que preserve la privacidad de los datos y garantice el rendimiento del entrenamiento.
Se admite la cooperación de múltiples partes, pero el titular de los datos etiquetados es solo una parte, y el titular de los datos no etiquetados es una colección.
En comparación con XGBoost distribuido, SecureBoost protege la privacidad de los datos al tiempo que garantiza la precisión del modelo y aplica con éxito GBDT vertical al marco de aprendizaje federado.

Marco de aprendizaje federado horizontal descentralizado basado en el modelado GBDT de múltiples partes: pasos de aprendizaje federado basados ​​en la similitud
Método de cifrado de tabla hash: no puede superar la privacidad diferencial, pero compensa la eficiencia de la comunicación al tiempo que sacrifica una pequeña cantidad de fuerza de protección de la privacidad.

###3 Máquina de vectores de soporte federada
La máquina de vectores de soporte se implementa de manera segura en el aprendizaje federado, y la privacidad de los datos está garantizada por medio de hashing de características, bloques de actualización, etc. El
procesamiento hash de reducción de dimensionalidad se realiza en valores de características para ocultar la característica real valores (similar a SimFL)
usando la actualización de subgradiente (en respuesta a la máquina de vector de soporte lineal, el servidor central puede deducir la etiqueta de datos de acuerdo con el gradiente de actualización)

Algoritmo de aprendizaje federado basado en aprendizaje profundo

El aprendizaje federado codificará y cifrará la información transmitida, por lo que es necesario realizar ajustes en algunos enlaces.

###1 Red neuronal federal
Una red neuronal con dos capas ocultas, agrupación experimental: un grupo usa la misma semilla aleatoria para inicializar los parámetros del modelo asignados a dos nodos informáticos, y el otro grupo usa diferentes semillas aleatorias para inicializar los parámetros del modelo. Cada grupo de experimentos utiliza diferentes proporciones de peso para la integración ponderada de los parámetros del modelo de diferentes nodos y compartirá el modelo con la federación final.
Los modelos de aprendizaje federado que usan métodos de promedio de modelos requieren menos períodos de entrenamiento.
El modelo federado con la misma semilla de inicialización aleatoria funciona mejor, alcanzando la pérdida óptima con una relación de parámetros de modelo de 1:1.

###2 Red neuronal convolucional federada
Una estructura de red demasiado compleja afectará la eficiencia de convergencia del aprendizaje federado.
De acuerdo con la identificación de la muestra, el conjunto de datos se asigna aleatoriamente a diferentes clientes para formar diferentes subconjuntos para simular datos distribuidos.
Durante el entrenamiento, el cliente primero realiza el cálculo del gradiente y la actualización de parámetros en el conjunto de datos locales. Al final de cada iteración, las actualizaciones de parámetros agregados se utilizan para actualizar el modelo federado.
En un entorno de aprendizaje federado, el protocolo de comunicación del asiento ternario del coeficiente se debe al algoritmo de promedio federado FedAvg

###3 El LSTM federado
divide manualmente el conjunto de datos en conjuntos de datos de aprendizaje federados asignados a varios clientes y puede lograr la precisión del modelo con la configuración de hiperparámetro adecuada.

El algoritmo de aprendizaje federado más tradicional——Algoritmo FedAvg

Idea esencial: El método de descenso del gradiente estocástico local se utiliza para optimizar el modelo local para el titular de los datos, y la operación de agregación se realiza en el servidor central.
El despliegue es relativamente simple y los campos de aplicación son amplios.

Optimización de algoritmos de aprendizaje federado

4.1 Optimización desde la perspectiva del coste de comunicación

4.1.1 Aumentar el costo de computación del cliente

KJ: aumentar la cantidad de cálculos para los parámetros de actualización local de cada cliente en cada iteración.
El algoritmo FedProx puede actualizar dinámicamente la cantidad de cálculos locales necesarios para cada ronda de diferentes clientes.
La heterogeneidad de los datos ralentizará la velocidad de convergencia del aprendizaje federado

4.1.2 Compresión del modelo

Propósito: reducir la cantidad de parámetros en cada ronda de comunicación,
como la cuantificación y el submuestreo
KJ:
actualización estructurada: defina la estructura de la matriz de los parámetros del modelo cargado con anticipación para cargar los parámetros: reduzca el tamaño de los
parámetros Realice la codificación de compresión
Cuantas más partes participen , mejor será el efecto de compresión
Caldas S: Reduzca la cantidad de parámetros pasados ​​del servidor al cliente a través de compresión con pérdida y filtrado de parámetros federados. El precio es reducir la precisión del modelo hasta cierto punto.

4.2 Optimización del ángulo de selección del cliente

Los dispositivos cliente son heterogéneos y los recursos son limitados.Optimización
:
algoritmo FedCS: un mecanismo de protocolo de algoritmo voraz está diseñado para darse cuenta de que cada actualización selecciona el cliente con la mayor eficiencia de iteración del modelo para la actualización de agregación, optimizando así la eficiencia de convergencia. Insuficiente: adecuado para el
modelo Comparando los conceptos básicos, en situaciones complejas, la eficiencia se reducirá

Algoritmo de protocolo de Hybrid-FL: puede procesar datos cuyo conjunto de datos no es IID, y el
servidor selecciona algunos clientes a través de los pasos de solicitud de recursos, para establecer un conjunto de datos aproximadamente independiente e idénticamente distribuido localmente para capacitación e iteración de aprendizaje federado .

4.3 Optimización desde la perspectiva de la agregación asíncrona

En el algoritmo FedAvg, la agregación se mantiene sincronizada con las actualizaciones del modelo. El servidor comienza a agregarse después de recibir los parámetros de todos los clientes que participan en el entrenamiento.
Usando la agregación asincrónica,
algoritmo FedAsync: agregando la agregación ponderada, después de recibir los parámetros, el servidor diseñará la agregación ponderada en función de la cantidad de relaciones entrenadas actualmente.

Amenazas y desafíos existentes:

Las características que debe realizar el algoritmo de aprendizaje federado:

características	significado
Soporte para datos que no son IID	Los algoritmos deben funcionar bien en datos que no sean IID. (La calidad de los datos y la distribución de los titulares de datos son incontrolables)
comunicación eficiente	El algoritmo de aprendizaje federado debe considerar la heterogeneidad del sistema de los titulares de datos, mejorar la eficiencia de la comunicación y reducir la pérdida de comunicación sin pérdida de precisión o con poca pérdida.
convergencia rápida	Mejore la velocidad de convergencia mientras asegura la convergencia del modelo
Seguridad y privacidad	Se lleva a cabo en el proceso de agregación a través del cifrado y otros métodos, o se refleja en el proceso de optimización independiente.
Admite usuarios complejos	El número de usuarios es grande y los datos están desequilibrados o sesgados.

Posibles modelos de ataque encontrados:

modelo de ataque	introducir
Ataques que se originan en el servidor	De acuerdo con el comportamiento del ataque que se origina en el servidor, se puede dividir en adversario del servidor honesto pero curioso, adversario del servidor malicioso y adversario del servidor mixto.
Ataques originados por actores	Propósito: enviar información de modelo incorrecta al servidor principal, de modo que el modelo de federación se actualice e itere en una dirección negativa
ataque externo	Cuando se actualiza la comunicación entre los participantes y el servidor, puede haber espías externos en el canal para escuchar la información y deducir algunos datos privados sobre el modelo, etc., lo que genera una amenaza a la seguridad de la comunicación dentro de la federación.
Ataques de vulnerabilidades del sistema	Ataque de datos: se refiere principalmente al proceso en el que los participantes modifican maliciosamente etiquetas de datos o información intermedia para destruir el proceso de aprendizaje federado. Ataque de actualización de modelo: destruye el rendimiento del modelo global al deteriorar maliciosamente el modelo local.

Métodos de ataque: ataques de envenenamiento, ataques de confrontación y ataques de inversión de modelos, etc.
Métodos de defensa: dispersión de gradiente, detección maliciosa, alineación de muestras secretas, protección de etiquetas, intercambio de cifrado y intercambio de perturbaciones, etc.

Las medidas defensivas pueden garantizar la seguridad de los datos de los participantes y la precisión del modelo conjunto

联邦学习的攻击手段
参与方之间间接共享本地数据，联邦学习相对于集中式大规模机器学习更具安全性，所以参与方的隐私泄露风险较小。
横向联邦学习容易受到投毒攻击、对抗攻击等手段的影响，
纵向联邦学习容易受到数据投毒攻击的影响;
在纵向联邦学习下，参与方之间不仅因共享标志符导致隐私信息的泄露，而且共享的中间结果导致主动方的标签信息泄露。
此外，在两种场景的联邦学习背景下，对手在梯度共享期间通过模型逆推攻击获得用户数据。

投毒攻击
投毒攻击是指在训练或再训练过程中恶意参与方利用训练集操纵模型预测。在联邦学习中，攻击者有两种方式进行投毒攻击，如数据投毒和模型投毒。

数据投毒

数据投毒是指污染训练样本，如添加错误标签或有偏差的数据以降低数据的质量，从而降低训练模型的表现，破坏其完整性和可用性。

手段：
在联合模型的优化过程中更改数据标签为目标类，对手替换该数据记录的标签为目标类，这样影响模型预测指定类的结果。
在多方机器学习下非接触的恶意方将若干数据记录的某一特定特征属性与投毒标签建立指定联系，这样就影响了模型对于投毒类的预测结果。
对手通过给定系数扩大模型参数影响，从而保证模型的主任务及后门任务的准确率。
分布式投毒攻击，旨在恶意参与方在相互接触后指定类修改共同的错误目标，从而降低模型预测的准确性。
一种基于神经网络的后门攻击方法，旨在被动方对目标类的中间结果进行投毒，甚至扩大给定系数增加后门任务的影响。。。

模型投毒

在训练时企图训练出错误的参数再上传给中心服务器，从而影响模型的变化方向，减慢模型的收敛速度，甚至破坏模型的正确性，最终破坏模型的可用性。

恶意方对目标数据记录执行梯度上升法以提高预测目标类的误差，导致恶意梯度贡献于联合模型，在这种情况下，如果对手观测目标数据记录在本地训练的梯度变化较大，则说明目标数据记录属于该联邦成员的记录，从而参与方的隐私信息发生泄露。

对抗攻击
对抗攻击是指恶意构造输入样本导致高置信度的模型，却输出错误结果，
对手(恶意方) 在已有的背景知识下生成带有错误标签带的高置信度样本，称为生成对抗样本。
。。。。。。

隐私泄露
在联邦学习中，参与方间接地共享本地数据导致隐私泄露。
纵向联邦学习针对相同标志符的样本进行联合训练，这样导致在样本对齐过程中标志符以明文的方式共享，导致隐私信息的泄露。
此外，主动方共享了包含标签信息的中间结果给被动方，间接共享本地数据贡献于联合模型，导致共享梯度受到模型逆推攻击。

联邦学习的防御措施

1安全防御
针对对手的恶意行为可选择采用梯度稀疏化和恶意梯度检测方法保护联邦学习系统的安全。

梯度稀疏化

梯度稀疏化是指参与方在每次通信回合期间选取一个梯度的丢失率以限制梯度的更新，
可以提高训练效率，降低恶意方的贡献影响，从而有效地阻止了参与方的恶意行为。

方法：
通过参与方随机筛选部分的梯度参数修改为0——存在一定局限性。
一种自适应 dropout率的梯度压缩方法，若 dropout参数大于给定阈值，则设置对应梯度参数的权重为0——面对网络瓶颈及计算资源不充足的问题存在部分重要特征不能贡献于联合模型。
eSGD 算法，参与方在某个通信回合期间筛选相较于上个通信回合误差降低的梯度参数——较小的梯度参数不能贡献于联合模型，通过多个通信回合的剩余梯度积累影响联合模型，不仅实现了联合模型的快速收敛，也降低了参与方恶意贡献的影响。

恶意梯度检测

恶意梯度检测是指任务发布者在每个通信回合期间检测恶意参与方的更新，从而去除或降低恶意方的贡献影响
需要参与方具有相同的本地模型结构，通过参与方之间贡献的对比去除恶意影响，因此这类方法只适用于横向联邦学习的场景。

方法：
根据恶意用户之间有较强的相似性来降低恶意梯度的贡献，通过减少对诚实方的惩罚——不仅降低了恶意方的影响，同时也保证了模型的收敛。
采用一种去中心化的区块链机制，任务发布者( 某个参与方) 利用其他方交互历史记录及交互时间频率进行评估而消除懒惰方及恶意方的贡献影响，实现诚实方之间训练模型。该方法通过公开透明的机制记录训练时间及模型的效果，从而有效区分恶意方、诚实方及懒惰方，同时也保证了模型收敛。

隐私保护
隐私保护是指个人或集体等实体不愿意被外人知道的信息得到应有的保护
而在联邦学习的训练过程中是指参与方的本地原始数据不能被泄露给对手。

参与方的梯度信息易受到模型逆推攻击导致隐私信息泄露，因此参与方扰动或加密共享的梯度信息，导致对手无法获得共享的原始梯度信息;
对于纵向联邦学习的场景，由于样本的标志符及中间结果的共享，导致标志符及标签的泄露。隐私保护方法：样本秘密对齐、标签保护、加密共享及扰动共享等

4.2.1 样本秘密对齐
在纵向联邦学习下，样本对齐是指识别出具有相同标志符的数据记录。
保证诚实且好奇的第三方秘密进行标志符字段的表达匹配。。。。。。

4.2.2标签保护
主动方共享中间结果给被动方，导致标签泄露。
Marvell方法：扰动梯度使正负样本出现的置信区间系统。

4.2.3加密共享
对梯度的加密算法要满足同态加密性质

4.2.4扰动共享
加噪方法，差分隐私技术在学习全局样本的有用信息时被应用于解决隐藏本地隐私的问题
对每次迭代的梯度添加噪声。。。。。

难题

（1） 参与方难题：
参与方是联邦学习的主要成员，也是联邦学习的基础，
目前最主要存在的是参与方激励以及参与方选择等难题。
激励难题：吸引更多的参与方，是限制联邦学习模型性能的提升的关键。
要建立一个完善的激励机制和分配机制，鼓励更多参与方的加入。

如何识别诚实但好奇的半诚实参与方以及恶意的参与方，如何选择合适的参与方等参与方选择。
目前的联邦学习方法，所有参与方都是无差别地参与到联邦学习中。需要研究一种可行且可信的诚实参与方识别算法，制定一个合适的筛选机制去除恶意方及懒惰方的贡献影响。

（2） 算力难题
在当今移动设备的算力下，仅有部分小运算量的算法如逻辑回归等可在设备端运行，但限制了主流的包含前后反馈过程的神经网络的实施。

设计高效加密算法提高训练效率

（3） 通信难题
在联邦学习的过程中，各方之间需要频繁交换加解密以及模型相关的数据，而协调方往往需要等待所有参与方的中间数据都返回后才能进行安全聚合或其他数据处理。

提高通信信道的质量和容量
信息传输受到高延迟网络制约，采用异步汇总方法提高训练效率
或从降低传输频率和减少每轮传输的信息量着手。
降低传输频率：减少梯度交换次数（可适当提高一次全局迭代中客户端本地优化的次数）
减少每轮传输的信息量：降低交换次数，进行适当的梯度压缩或者量化，减少通信占用的带宽

（4） 聚合难题
常见聚合方式： FedAvg 平均聚合以及 FedProx 异构聚合，但有损（相当于集中式模型）。
主服务器可异步地聚合各参与方的信息，提高参与方中途退出学习的应对能力。

目前也存在一些无损的联邦学习模型，如纵向联邦树模型 SecureBoost。

（5） 预测难题
在纵向联邦学习中，只有协调方得知的是整个联邦的结构，而参与方得知的是与其数据特征相关的子模型的结构。
因此在联邦预测过程中，需要协调方与参与方共同合作，才能预测出新样本的标签。
一旦某个参与方退出联邦，该方所掌握的子树结构也会随之消失，严重影响联邦预测过程。

（6） 中心方等待聚合难题
中心方需要等待所有的参与方模型信息返回后，才会进行新一轮的信息聚合。
陷入无限的等待过程中，严重影响模型聚合以及联邦学习的效率。

保证联邦学习效率和效果的中心方等待聚合的策略

系统异构难题：可采用异步通信提升系统的鲁棒性，提高系统的容错能力。

数据异构难题：如何使优化算法更加兼容联邦学习实际使用中复杂的数据结构。
元学习和多任务学习
元学习：使各客户端本地模型学习独立但相关的模型，实现模型的个性化。

隐私预算问题
对梯度或中间结果扰动，保证数据安全，减少参与方的计算资源要求，但降低了模型的准确率

通信效率短板明显

网络中需要不断通信来交互模型更新信息，网络带宽负担大。通信传输效率变成限制训练速度的主要因素。
因素
联邦学习与分布式计算的区别：数据集来自各个终端用户，产生的数据特征呈现非独立同分布（Non-IID）。（Non-IID 指的是在概率统计理论中，各数据集中的随机变量不服从同一分布，即对于不同的客户端 i 和 j，它们的数据集概率分布Pi ≠P j 。）
传统的分布式框架算法处理 Non-IID 数据时会造成训练过程难以收敛、通信轮数过多等问题。
大量本地模型的更新、上传会导致中心服务器通信开销过大，无法满足正常的应用要求，相邻的模型更新中可能包含许多重复更新或者与全局模型不相关的更新。
优化通信效率的方案目标：
减少每轮通信传输的数据大小；减少模型训练的总轮数。
方案方向：优化联邦学习框架算法、压缩模型更新和采用分层分级的训练架构。（一定限度上提升了联邦学习模型训练速度、减小了数据通信量）

现阶段仍然存在许多难以解决的问题。例如，优化算法在处理 Non-IID数据时相对于处理 IID 数据的时间开销成倍增长。。。。压缩算法会严重影响模型精度。

隐私安全仍有缺陷

源数据不出本地而仅交互模型更新（如梯度信息）→保护用户的敏感数据
真实环境中：模型反演攻击、成员推理攻击、模型推理攻击层出不穷，客户端动机与中心服务器的可信度都会影响隐私安全
研究表明，梯度信息会泄露用户的隐私数据，攻击者通过客户端上传的梯度信息间接推出标签信息和数据集的成员信息。（多个例子）

联邦学习受到的3方面威胁：
恶意客户端修改模型更新，破坏全局模型聚合
恶意分析者通过对模型更新信息的分析推测源数据隐私信息；
恶意服务器企图获得客户端的源数据。

而联邦学习与经典机器学习隐私保护技术的结合能够提供足够强的安全性，却会造成通信负担，
挑战：需要考虑平衡通信负担和模型安全。

缺乏信任与激励机制

联邦学习需要吸引客户端参与训练过程，但其未有高效的激励机制（保证模型质量）和针对客户端的信任机制（保证模型精度）。
学界结合区块链技术——形成一种安全。高度抗中断和可审计的方式记录模型更新，为系统框架提供可问责性和不可否认性。同时，区块链的激励机制作为一种经济回报能够根据构建模型时客户端的贡献给予相应的奖励。

研究进展

隐私保护技术：可以被用于联邦学习过程中，以此保证联邦内部各参与方的数据安全和隐私安全。
常见的隐私保护技术，常见有不经意传输（Oblivious Transfer，OT）、混淆电路（Garbled Circuit，GC）、秘密共享（Secret Sharing， SS）、隐私集合交集（Private Set Intersection，PSI）、差分隐私（Differential Privacy，DP），以及同态加密（Homomorphic Encryption，HE）等。

联邦学习的开源框架：
微众银行牵头提出的 FATE（Federated AI Technology Enabler）框架、百度牵头提出的 PaddleFL（Paddle Federated Learning）框架、谷歌牵头提出的 TFF（TensorFlow Federated）框架，以及 OpenMind 牵头提出的 Pysyft 框架。

框架	横向联邦学习	纵向联邦学习	联邦迁移学习	Kubernetes	树模型	联邦特征工程	联邦在线推理	支持的隐私保护算法
FATE	支持	支持	支持	支持	支持	支持	支持	同态加密隐私共享 RSA、DiffieHellman
PaddleFL	支持	支持	不支持	不支持	不支持	不支持	不支持	差分隐私
TFF	支持	不支持	不支持	不支持	不支持	不支持	不支持	差分隐私
Pysyft	支持	不支持	不支持	不支持	不支持	不支持	不支持	同态加密隐私共享

FATE 框架作为国内目前比较优秀的联邦学习开源框架，支持横向联邦学习、纵向联邦学习以及联邦迁移学习的实现，同时还提供了其他框架所没有的联邦特征工程算法、Kubernetes 容器化应用和联邦在线推理
相对而言，PaddleFL 仅支持横向和纵向的联邦学习。而 Pysyft 和 TFF 框架仅实现了横向联邦学习的支持。目前三者均缺乏联邦树模型算法的实现，如梯度提升决策树（Gradient Boosting Decision Tree，GDBT）和 SecureBoost。

针对通信效率：算法优化、压缩、分散训练

算法优化

算法优化是对分布式机器学习框架的改进，使该框架更适用于海量客户端、高频率、低容量、数据特征不均的联邦学习环境，实现通信轮数和模型更新数据的减少。

FedAvg算法

要求客户端在本地多次执行SGD 算法，然后与中心服务器交互模型更新，实现用更少的通信轮数训练出相同精度的模型。
对于非凸问题没有收敛保证，在非 IID 数据集上难以收敛
FedAvg 算法本身缺陷：
服务器端聚合时根据客户端数据量大小来分配相应的权重，这导致拥有大量重复数据的客户端能够轻易影响全局模型；
客户端仅执行 SGD 算法和执行固定次数的SGD 算法一定限度上限制了模型训练的速度。

MFL方案

在联邦学习的本地模型更新阶段使用动量梯度下降（MGD）
实验证明，在一定条件下该方案显著提升了模型训练的收敛速度。
迭代自适应的 LoAdaBoost 算法
通过分析客户端更新的交叉熵损失，调整本地客户端 epoch 次数，
相对于传统 FedAvg 算法固定 epoch，准确度与收敛速度均有显著提升。

CMFL算法

由于客户端上传的本地模型更新中含有大量的冗余和不相关信息，严重占用通信带宽
算法要求客户端筛选本地模型更新与上一轮全局模型的相关度，通过模型梯度正负符号相同的百分比来避免上传达不到阈值要求的本地模型更新，实现通信开销的降低，
不足：建立在客户端按照协议执行的基础上，系统的鲁棒性较弱。

BACombo 算法

利用 gossip 协议和 epsilon- greedy 算法检查客户端之间随时间变化的平均带宽，最大限度地利用带宽容量，进而加快收敛速度。

压缩

梯度压缩和全局模型压缩。
通常情况下，梯度压缩相比于全局模型压缩对通信效率的影响更大，（因为互联网环境中上行链路速度比下载链路速度慢得多，交互通信的时间主要集中在梯度数据上传阶段。）

。。。。相关算法

分散训练：

在联邦学习中，通信拓扑通常是星形拓扑，中心服务器的通信成本太大。
分散拓扑（客户端只与它们的邻居通信）可以作为一种替代方案。
在低带宽或高时延网络上运行时，分散拓扑被证明比星形拓扑训练速度更快。
联邦学习的分散拓扑先设定边缘服务器聚合来自客户端设备的本地更新，然后边缘服务器充当客户端的角色与中心服务器交互。

隐私安全

根据隐私保护细粒度的不同，联邦学习的隐私安全被分为全局隐私（global privacy）和本地隐私（local privacy）

全局隐私假定中心服务器是安全可信任的，即每轮通信的模型更新中心服务器可见。
对中间迭代过程和最终模型进行严格的加密保护十分重要。

本地隐私假定中心服务器同样可能存在恶意行为，因此本地模型更新在上传到中心服务器之前需要进行加密处理。

典型隐私保护技术：差分隐私、安全多方计算、同态加密等技术

信任与激励机制

结合区块链技术提供。
联邦学习与区块链的结合使系统成为一个完善的闭环学习机制。
一方面，联邦学习技术能够为具有隐私数据的参与方提供跨域安全共享方案；
另一方面，区块链技术作为核心数据库为参与方提供了安全存储、信任管理、细粒度区分和激励回报等应用需求，促使拥有数据的用户积极参与到数据联邦中。

研究热点

系统异构

La potencia informática, la velocidad de comunicación y la capacidad de almacenamiento de cada dispositivo terminal son diferentes. La arquitectura de aprendizaje federado suele limitar el número de dispositivos terminales que participan en el entrenamiento. El algoritmo de aprendizaje federado adecuado para la heterogeneidad del sistema debe cumplir tres requisitos: baja tasa de participación del cliente
;
Compatible con diferentes estructuras de hardware; capaz de tolerar la salida a mitad de camino del equipo de entrenamiento.

Heterogeneidad estadística

Las características y el volumen de los datos pueden variar mucho entre dispositivos, lo que da como resultado una distribución de datos que no es de IID y que no se equilibra.

Comunicación inalámbrica

Los canales inalámbricos tienen una capacidad de ancho de banda limitada y una consideración importante es la solidez de las actualizaciones del modelo en presencia de errores de cuantificación. Además del ancho de banda de la comunicación, el ruido complejo y la interferencia en la comunicación inalámbrica también son factores que agravan los cuellos de botella del canal.
Por lo tanto, es de gran importancia para la investigación desarrollar un algoritmo de aprendizaje federado adecuado para la comunicación inalámbrica.

referencias

[1] Zhou Chuanxin, Sun Yi, Wang Degang, Ge Huawei. Una revisión de la investigación de aprendizaje federado [J]. Journal of Network and Information Security, 2021, 7(05):77-92. [2] Liang Tiankai, Zeng Bi, Chen Guang
. Descripción general del aprendizaje federado: conceptos, tecnologías, aplicaciones y desafíos [J/OL]. Aplicaciones informáticas: 1-13 [2022-07-23]. http://kns.cnki.net/kcms/detail /51.1307.TP.20211231.1727 .014.html
[3] Wang Jianzong, Kong Lingwei, Huang Zhangcheng, Chen Linjie, Liu Yi, He Anxun, Xiao Jing. Una revisión de los algoritmos de aprendizaje federados [J]. Big Data, 2020,6 (06):64 a 82.
[4] Sun Shuang, Li Xiaohui, Liu Yan, Zhang Xing. Una revisión de la investigación sobre la seguridad del aprendizaje federado y la protección de la privacidad en diferentes escenarios [J]. Investigación de aplicaciones informáticas, 2021, 38(12). ): 3527-3534 DOI: 10.19734/j.issn .1001-3695.2021.03.0157.