aprendizaje federado
El aprendizaje federado (FL) ha atraído mucha atención recientemente debido a su protección de la privacidad y su alta eficiencia de comunicación al aplicar inteligencia artificial/ML a datos distribuidos. VMware ha estado participando activamente en la comunidad de FL, contribuyendo a proyectos de código abierto, publicando documentos técnicos sobre soluciones y promoviendo tecnologías relacionadas a través de diversas actividades. Nuestro objetivo principal es proporcionar soluciones de gestión de implementación e infraestructura sólidas y seguras para cargas de trabajo y sistemas FL aprovechando los productos y soluciones de VMware. Nos complace presentar nuestra reciente colaboración con One Convergence™ Inc. para integrar el aprendizaje federado en las soluciones MLOps, específicamente la plataforma DKube, para mejorar los flujos de trabajo FL y las experiencias de uso de los clientes.
Aprendizaje federado y FATE (Habilitador de tecnología de IA federada)
El éxito de la inteligencia artificial depende en gran medida de la cantidad y calidad de los datos utilizados para entrenar modelos predictivos eficaces. Sin embargo, en las aplicaciones del mundo real, los datos a menudo todavía existen de forma aislada en varios silos de datos. Este estado aislado crea un desafío importante al compartir datos, principalmente debido a la competencia empresarial y la necesidad de cumplir con las leyes y regulaciones de protección de la privacidad, como el Reglamento General de Protección de Datos (GDPR). La incapacidad de explotar plenamente los datos obstaculiza el proceso de formación necesario para desarrollar modelos significativos. Para resolver este problema, surgió el aprendizaje federado, que proporciona una solución que permite a las organizaciones superar el problema de los silos de datos y al mismo tiempo garantizar la privacidad y seguridad de los datos de conformidad con las regulaciones. FATE es un proyecto de código abierto alojado por LF AI & Data Foundation que proporciona un marco informático seguro para el ecosistema de inteligencia artificial federado. Cuenta con contribuciones de líderes de la industria como WeBank, VMware, Tencent, UnionPay y otros. FATE se originó en la industria financiera, pone gran énfasis en la protección de la privacidad y está diseñado para aplicaciones industriales. Su principal objetivo es implementar protocolos informáticos seguros utilizando tecnologías avanzadas como el cifrado homomórfico y la computación multipartita. Al emplear estos protocolos, FATE permite aprovechar una variedad de algoritmos de aprendizaje automático al tiempo que garantiza que se implementen sólidas medidas de seguridad y privacidad de los datos.
Como miembro de la junta del Comité Directivo Técnico de la Comunidad (TSC) de FATE, el equipo de VMware AI Labs ha realizado importantes contribuciones al ecosistema FATE, incluidas características funcionales clave en varias versiones de FATE, así como la creación de soluciones FL nativas de la nube como como KubeFATE y FedLCM. Para obtener más información sobre el aprendizaje federado y los esfuerzos de FL nativo en la nube de VMware, consulte los siguientes blogs anteriores:
Al igual que cualquier otra tarea de aprendizaje automático, la aplicación de FATE y FL implica todos los flujos de trabajo típicos de MLOps. Para el aprendizaje automático nativo de la nube, Kubeflow es una de las mejores opciones a este respecto.
"Aplicar" Kubeflow en DKube
En los últimos años, Kubeflow ha evolucionado hasta convertirse en una plataforma líder de IA/ML, integrando muchos avances de código abierto para crear una solución rentable. Vale la pena señalar que en julio de 2023, pasó de un proyecto administrado por Google a un proyecto independiente de CNCF.
Sin embargo, "aplicar" Kubeflow a su entorno local o en la nube todavía requiere mucho trabajo. Implementar con éxito Kubeflow, poner en funcionamiento datos, preparar modelos, ajustar, implementar y monitorear mientras se gestiona la seguridad, el cumplimiento y la gobernanza sigue siendo todo un desafío. Hacer este trabajo usted mismo puede llevar varios meses a varias personas para cada nueva instalación, y esto se aplica a cada nueva organización y a casi todas las nuevas instalaciones. La pérdida de productividad y tiempo es enorme, y cualquier ahorro de costos al utilizar Kubeflow puede compensarse con un aumento de gastos y tiempo que puede ascender a cientos de miles de dólares y meses por instalación. Como resultado, muchos proyectos de instalación de Kubeflow en grandes empresas Fortune 100 se han estancado.
También hay buenas noticias en el frente de Kubeflow. Algunas plataformas nuevas de IA/ML creadas de forma nativa en Kubeflow pueden resolver este desafío por usted. Por ejemplo, DKube de la empresa One Convergence™ ha creado un paquete Kubeflow estándar con una interfaz de usuario mejor y más moderna y se integra con AWS EKS, Azure AKS o cualquier distribución de Kubernetes local o en la nube, como VMware Tanzu Kubernetes Grid. Como se muestra en la figura siguiente, puede integrarse con Azure Blob o Azure NFS, AWS S3, almacenamiento local S3/NFS/Ceph; puede integrarse con Active Directory o autenticación LDAP en cualquier nube o instalación local; puede integrarse con Git, Integración del sistema de control de versiones GitOps, Bitbucket y Azure DevOps; también puede integrarse con fuentes de datos médicos como Arvados o Flywheel. En otras palabras, obtiene un paquete preempaquetado que se puede instalar y configurar con unos pocos comandos simples, lo que le permite comenzar rápidamente en AWS, Azure, GCP o una distribución local de Kubernetes. Dependiendo de la complejidad del clúster, es posible que solo transcurran unas pocas horas o un día desde la instalación hasta que el usuario esté en línea.
Acelere los flujos de trabajo de FATE con la integración de DKube
El soporte para FATE se ha integrado en DKube a través de una colaboración entre VMware AI Labs y el equipo de ingeniería de DKube. Como se muestra en la figura siguiente, después de implementar y configurar el sistema FATE, las funciones "IDE", "Ejecutar" y de gestión de modelos de DKube pueden simplificar el flujo de trabajo de FL. En las siguientes secciones, exploramos los pasos detallados de esta integración.
Implementar y configurar el clúster FATE
Como se mencionó anteriormente, el equipo de VMware AI Labs mantiene dos proyectos de código abierto, KubeFATE y FedLCM, que brindan la capacidad de implementar y administrar sistemas FATE de manera nativa en la nube. KubeFATE facilita la configuración y gestión de sistemas FATE (también conocidos como clústeres FATE) en Kubernetes en centros de datos y entornos de múltiples nubes. FedLCM coordina la implementación de FATE desde múltiples perspectivas, lo que permite que los clústeres FATE distribuidos funcionen y se conecten para formar una federación de aprendizaje federado.
Una vez creada la federación FATE, cada participante utilizará DKube para interactuar con su sistema FATE y gestionar los trabajos FATE. Para implementar esta función, debe agregar la dirección de acceso de FATE-Flow y otra información del clúster FATE en la vista de gestión de operación y mantenimiento de la interfaz de usuario de DKube.
Utilice los IDE de DKube para desarrollar el código de entrenamiento FATE
Una vez que la información del clúster FATE se agrega a DKube, podemos comenzar a usarla en la pestaña DKube IDE en la vista Ciencia de datos. En la página de creación de IDE, podemos seleccionar FATE como marco de ML, lo que nos permite crear una instancia de JupyterLab con el SDK del cliente FATE preinstalado. En la sección de configuración, podemos seleccionar el clúster FATE recién agregado para que la instancia IDE configure automáticamente el SDK del cliente FATE para conectarse a este clúster específico, lo que permite a los usuarios escribir y probar su código de cliente FATE de manera transparente y eficiente. Administrar datos y trabajar dentro. el grupo FATE.
Inicie tareas de aprendizaje federado FATE a través de DKube Runs
Además de interactuar con el clúster FATE a través del IDE de DKube, también podemos iniciar trabajos FATE en DKube Runs. De manera similar a usar FATE en DKube IDE, podemos especificar FATE como marco y el clúster FATE de destino para ejecutar el trabajo. Además, para el aprendizaje federado horizontal, el modelo entrenado se puede guardar directamente en DKube. Una vez que se completa la ejecución, el modelo entrenado aparecerá en la página "Modelo" de DKube y podremos seguir el flujo de trabajo de implementación del modelo estándar de DKube para publicar la implementación del modelo como un servicio en línea.
Los IDE y ejecuciones de DKube admiten todos los algoritmos de aprendizaje federado de FATE, incluido el módulo FATE-LLM lanzado recientemente, que utiliza métodos de aprendizaje federados para lograr un ajuste fino y eficiente de parámetros de modelos de lenguaje grandes. El ejemplo oficial de FATE-LLM ha sido verificado y se puede iniciar y ejecutar con éxito a través de DKube.
próximo plan
Además de KubeFATE y FedLCM, VMware colabora activamente y realiza importantes contribuciones a la comunidad de FL. Una de nuestras contribuciones importantes es introducir FATE-Operator en Kubeflow para implementar la gestión de FATE a través del modo operador. También colaboramos y contribuimos con OpenFL, otro proyecto de aprendizaje federado de código abierto organizado por LF AI & Data. Estas contribuciones se pueden integrar en plataformas MLOps como DKube, lo que permite un proceso de FL integral que cubre todo, desde la implementación y las operaciones hasta la libertad de elegir diferentes marcos de FL y trabajar con el más adecuado. Continuaremos trabajando estrechamente con nuestros socios para garantizar que los beneficios de cada solución estén integrados y aceleren el éxito de los clientes en su viaje AI/ML.
El autor de este artículo: Wang Fangchi, ingeniero de VMware OCTO AI Labs.
Fuente de contenido ｜ Cuenta pública: VMware China R&D Center
Si tiene alguna pregunta, escanee la cuenta oficial a continuación para contactarnos ~
