aprendizagem federada
A Aprendizagem Federada (FL) tem atraído muita atenção recentemente devido à sua proteção de privacidade e alta eficiência de comunicação ao aplicar inteligência artificial/ML a dados distribuídos. A VMware tem participado ativamente da comunidade FL, contribuindo com projetos de código aberto, publicando white papers sobre soluções e promovendo tecnologias relacionadas por meio de diversas atividades. Nosso foco principal é fornecer infraestrutura segura e robusta e soluções de gerenciamento de implantação para sistemas FL e cargas de trabalho, aproveitando produtos e soluções VMware. Temos o prazer de apresentar nossa recente colaboração com a One Convergence™ Inc. para integrar o aprendizado federado em soluções MLOps, especificamente a plataforma DKube, para aprimorar os fluxos de trabalho e as experiências de uso de FL dos clientes.
Aprendizagem Federada e FATE (Federated AI Technology Enabler)
O sucesso da inteligência artificial depende em grande parte da quantidade e qualidade dos dados utilizados para treinar modelos preditivos eficazes. No entanto, em aplicações do mundo real, os dados muitas vezes ainda existem isoladamente em vários silos de dados. Este estado isolado cria um desafio significativo na partilha de dados, principalmente devido à concorrência empresarial e à necessidade de cumprir as leis e regulamentos de proteção da privacidade, como o Regulamento Geral de Proteção de Dados (RGPD). A incapacidade de explorar plenamente os dados dificulta o processo de formação necessário para desenvolver modelos significativos. Para resolver este problema, surgiu a aprendizagem federada, fornecendo uma solução que permite às organizações superar o problema do silo de dados, garantindo ao mesmo tempo a privacidade e a segurança dos dados em conformidade com os regulamentos. FATE é um projeto de código aberto hospedado pela LF AI & Data Foundation que fornece uma estrutura de computação segura para o ecossistema federado de inteligência artificial. Conta com contribuições de líderes do setor como WeBank, VMware, Tencent, UnionPay e outros. O FATE originou-se do setor financeiro, dá grande ênfase à proteção da privacidade e foi projetado para aplicações industriais. Seu principal objetivo é implementar protocolos de computação seguros usando tecnologias avançadas, como criptografia homomórfica e computação multipartidária. Ao empregar esses protocolos, o FATE permite que uma variedade de algoritmos de aprendizado de máquina sejam aproveitados, ao mesmo tempo que garante a implementação de fortes medidas de privacidade e segurança de dados.
Como membro do conselho do FATE Community Technical Steering Committee (TSC), a equipe do VMware AI Labs tem feito contribuições importantes para o ecossistema FATE, incluindo recursos funcionais importantes em várias versões do FATE, bem como criando soluções FL nativas da nuvem, como como KubeFATE e FedLCM. Para saber mais sobre o aprendizado federado e os esforços de FL nativos da nuvem da VMware, consulte os seguintes blogs anteriores:
-
Aprendizado federado: aprendizado de máquina para proteger a privacidade e superar silos de dados
-
A tecnologia nativa da nuvem capacita o aprendizado federado
Semelhante a qualquer outra tarefa de aprendizado de máquina, a aplicação de FATE e FL envolve todos os fluxos de trabalho típicos de MLOps. Para aprendizado de máquina nativo da nuvem, o Kubeflow é uma das principais opções nesse aspecto.
"Aplicar" Kubeflow no DKube
Nos últimos anos, o Kubeflow evoluiu para uma plataforma líder de IA/ML, integrando muitos avanços de código aberto para criar uma solução econômica. É importante notar que em julho de 2023, ele fez a transição de um projeto administrado pelo Google para um projeto CNCF independente.
No entanto, “aplicar” o Kubeflow à sua nuvem ou ambiente local ainda requer muito trabalho. A implantação bem-sucedida do Kubeflow, a operacionalização de dados, a preparação de modelos, o ajuste, a implantação e o monitoramento, ao mesmo tempo em que gerencia a segurança, a conformidade e a governança, continuam sendo bastante desafiadores. Fazer esse trabalho sozinho pode levar vários meses para várias pessoas para cada nova instalação, e isso se aplica a todas as novas organizações e quase todas as novas instalações. A perda de produtividade e de tempo é enorme, e qualquer economia de custos com o uso do Kubeflow pode ser compensada pelo aumento de despesas e de tempo que pode chegar a centenas de milhares de dólares e meses por instalação. Como resultado, muitos projetos de instalação do Kubeflow em grandes empresas da Fortune 100 foram paralisados.
Também há boas notícias na frente do Kubeflow. Algumas novas plataformas de IA/ML construídas nativamente no Kubeflow podem resolver esse desafio para você. Por exemplo, DKube da empresa One Convergence™ construiu um pacote Kubeflow padrão com uma UI melhor e mais moderna e integra-se com AWS EKS, Azure AKS ou qualquer distribuição Kubernetes local ou em nuvem, como VMware Tanzu Kubernetes Grid. Conforme mostrado na figura abaixo, ele pode ser integrado ao Azure Blob ou Azure NFS, AWS S3, armazenamento local S3/NFS/Ceph; pode ser integrado ao Active Directory ou autenticação LDAP em qualquer nuvem ou instalação local; pode ser integrado ao Git, Integração do sistema de controle de versão GitOps, Bitbucket e Azure DevOps; também pode ser integrado com fontes de dados médicos, como Arvados ou Flywheel. Em outras palavras, você obtém um pacote pré-empacotado que pode ser instalado e configurado com alguns comandos simples, permitindo iniciar rapidamente no AWS, Azure, GCP ou em uma distribuição local do Kubernetes. Dependendo da complexidade do cluster, pode levar apenas algumas horas ou um dia desde a instalação até o usuário online.
Acelere os fluxos de trabalho FATE com integração DKube
O suporte para FATE foi integrado ao DKube por meio de uma colaboração entre o VMware AI Labs e a equipe de engenharia do DKube. Conforme mostrado na figura abaixo, após a implantação e configuração do sistema FATE, as funções "IDE", "Run" e gerenciamento de modelo do DKube podem simplificar o fluxo de trabalho do FL. Nas seções a seguir, exploramos as etapas detalhadas dessa integração.
Implantar e configurar cluster FATE
Conforme mencionado anteriormente, a equipe do VMware AI Labs mantém dois projetos de código aberto, KubeFATE e FedLCM, que oferecem a capacidade de implantar e gerenciar sistemas FATE de maneira nativa da nuvem. KubeFATE facilita a configuração e o gerenciamento de sistemas FATE (também conhecidos como clusters FATE) em Kubernetes em data centers e ambientes multinuvem. O FedLCM coordena a implantação do FATE a partir de múltiplas perspectivas, permitindo que clusters FATE distribuídos operem e se conectem para formar uma federação de aprendizagem federada.
Assim que a federação FATE for criada, cada participante usará o DKube para interagir com seu sistema FATE e gerenciar trabalhos FATE. Para implementar esta função, você precisa adicionar o endereço de acesso FATE-Flow e outras informações do cluster FATE na visualização de gerenciamento de operação e manutenção da UI do DKube.
Use IDEs DKube para desenvolver código de treinamento FATE
Depois que as informações do cluster FATE forem adicionadas ao DKube, podemos começar a usá-las na guia DKube IDE na visualização Data Science. Na página de criação do IDE, podemos selecionar FATE como uma estrutura de ML, o que nos permite criar uma instância JupyterLab com o SDK do cliente FATE pré-instalado. Na seção de configuração, podemos selecionar o cluster FATE recém-adicionado para que a instância IDE configure automaticamente o SDK do cliente FATE para se conectar a este cluster específico, permitindo que os usuários escrevam e testem seu código do cliente FATE de maneira integrada e eficiente. o cluster FATE.
Inicie tarefas de aprendizagem federadas FATE por meio de DKube Runs
Além de interagir com o cluster FATE através do IDE DKube, também podemos lançar trabalhos FATE em DKube Runs. Semelhante ao uso do FATE no DKube IDE, podemos especificar o FATE como a estrutura e o cluster FATE de destino para executar o trabalho. Além disso, para aprendizagem federada horizontal, o modelo treinado pode ser salvo diretamente no DKube. Assim que a execução for concluída, o modelo treinado aparecerá na página "Modelo" do DKube e poderemos seguir o fluxo de trabalho padrão de implantação do modelo DKube para publicar a implantação do modelo como um serviço online.
Os IDEs e Runs DKube suportam todos os algoritmos de aprendizagem federados FATE, incluindo o módulo FATE-LLM lançado recentemente, que usa métodos de aprendizagem federados para obter um ajuste fino com eficiência de parâmetros de grandes parâmetros de modelos de linguagem. O exemplo oficial do FATE-LLM foi verificado e pode ser iniciado e executado com sucesso através do DKube.
próximo plano
Além do KubeFATE e do FedLCM, a VMware colabora ativamente e faz contribuições significativas para a comunidade FL. Uma de nossas contribuições significativas é introduzir o FATE-Operator no Kubeflow para implementar o gerenciamento do FATE através do modo operador. Também colaboramos e contribuímos com o OpenFL, outro projeto de aprendizagem federada de código aberto hospedado pela LF AI & Data. Essas contribuições podem ser integradas em plataformas MLOps, como o DKube, permitindo um processo de FL completo que abrange tudo, desde implantação e operações até a liberdade de escolher diferentes estruturas de FL e trabalhar com a mais adequada. Continuaremos a trabalhar em estreita colaboração com nossos parceiros para garantir que os benefícios de cada solução sejam integrados e acelerar o sucesso dos clientes em sua jornada de IA/ML.
O autor deste artigo: Wang Fangchi, engenheiro do VMware OCTO AI Labs.
Fonte de conteúdo｜Conta pública: VMware China R&D Center
Se você tiver alguma dúvida, verifique a conta oficial abaixo para entrar em contato conosco ~
