Em março de 2023, o Ministério da Ciência e Tecnologia, juntamente com a Fundação de Ciências Naturais da China, lançou o trabalho especial de implantação de " Pesquisa Científica Orientada por Inteligência Artificial ( AI for Science) ". Zhao Zhiyun, diretor do Centro de Pesquisa de Desenvolvimento de Inteligência Artificial de Nova Geração do Ministério da Ciência e Tecnologia, acredita que a IA para a Ciência romperá o gargalo das capacidades tradicionais de pesquisa científica e se tornará um novo paradigma de pesquisa científica global. Tomando o campo de sensoriamento remoto como exemplo, a tecnologia de IA possui excelentes recursos de extração e expressão na correspondência de imagens e pode obter informações de atributos ricas e precisas de dados de sensoriamento remoto heterogêneos maciços, de modo a explorar a lei de evolução da área alvo, imagens de sensoriamento remoto de alta qualidade têm amplas perspectivas de aplicação em monitoramento de desastres, meteorologia, militares e muitos outros aspectos.
No entanto, embora a introdução da AI for Science ajude os pesquisadores no campo do sensoriamento remoto a resolver problemas complexos, ela também traz desafios para a infraestrutura e os fluxos de trabalho tradicionais. Nos últimos anos, com o apoio de plataformas adequadas, muitas instituições de pesquisa científica exploraram continuamente a viabilidade da integração e aplicação de big data de sensoriamento remoto e novas tecnologias de IA.
Fundado em 1957, o Centro de Prospecção Geofísica Aérea e Sensoriamento Remoto da China Natural Resources é um centro técnico profissional envolvido na pesquisa, desenvolvimento e aplicação de prospecção geofísica aérea e tecnologia de sensoriamento remoto em meu país; O corpo operacional do Centro de Inovação em Tecnologia de Engenharia se concentra na pesquisa e desenvolvimento de novas tecnologias de observação de sensoriamento remoto aeronáutico/espacial, bem como na pesquisa e desenvolvimento de investigação e aplicação abrangentes de sensoriamento remoto no campo de recursos naturais/geologia, e na pesquisa e desenvolvimento de sistemas de aplicação de engenharia.
O Instituto de Tecnologia de Aplicação de Sensoriamento Remoto (doravante denominado "Instituto"), como líder científico e tecnológico no campo da prospecção geofísica aérea e sensoriamento remoto, espera quebrar a situação atual de separação de dados de sensoriamento remoto, algoritmos de modelo , e recursos de computação e análise completa de dados em larga escala por meio da implantação da nuvem. Ao mesmo tempo , espera-se melhorar a eficiência da transformação dos resultados da pesquisa e promover a inovação colaborativa de "governo, indústria, universidade, pesquisa e aplicação" .
Com base nos requisitos acima, a ModelWhale, uma subsidiária da Hejing Technology, privatizou a implantação de ferramentas de nível de plataforma para o instituto de pesquisa e criou em conjunto uma plataforma integrada de desenvolvimento e implantação altamente disponível e de alta simultaneidade para ajudar a promover a reforma da IA para Paradigma da pesquisa científica da ciência .
Ponto problemático 1: Falta de canais de integração adequados para recursos de computação e armazenamento
Com a aplicação em larga escala da tecnologia AI, o Instituto introduziu a aceleração de GPU do passado usando a programação ENVI-IDL. Embora a eficiência tenha melhorado, o cartão único de máquina única e o cartão múltiplo de máquina única ainda estão totalmente carregados e inutilizável em breve. Atualmente, os pesquisadores geralmente usam clusters de GPU para problemas intensivos em dados e computação. Depois de tentar, o instituto de pesquisa descobriu que ainda há um certo desvio entre isso e as necessidades reais. O instituto de pesquisa é afiliado ao Centro de Aviação e Remoto, e possui recursos de poder de computação relativamente suficientes. Ele não apenas espera que cada pesquisador possa ter seu próprio ambiente de prática, mas também espera que todos os recursos de computação possam ser concentrados para algumas operações de larga escala e problemas complexos de computação.Portanto , a demanda atual é uma plataforma que possa ajudá-lo a integrar e agendar recursos de armazenamento e computação.
Solução: acesso local, gerenciamento e controle intensivos, implantação eficiente, cluster de GPU
Nesse sentido, com base na estrutura de otimização de infraestrutura existente do instituto de pesquisa, o ModelWhale conecta o hardware de computação local existente e disperso à nuvem e usa a arquitetura nativa da nuvem da plataforma para realizar operação e manutenção intensiva segura, flexível e controlável e multa -tuning Provisionamento dividido granular.
Depois de acessar recursos de poder de computação local, quando tarefas de computação em larga escala precisam ser processadas, o ModelWhale pode formar GPUs de várias máquinas e várias placas em um poder de computação de cluster para uso . Os clusters de GPU são baseados na computação paralela de Horovod, que pode alcançar o dobro da eficiência de computação e são adequados para processamento paralelo multinível de imagens de sensoriamento remoto. Isso também fornece uma garantia para a aplicação do Instituto em projetos sensíveis ao tempo, como monitoramento de desastres.
Nas pesquisas diárias, o poder de computação da plataforma de acesso pode ser dividido de acordo com o número de núcleos e tamanho da memória e alocado para diferentes pesquisadores e equipes de projeto . Quando o projeto estiver em execução, a plataforma ajudará os pesquisadores a agendar automaticamente instâncias de máquinas correspondentes e carregar automaticamente o ambiente de software, dados e arquivos necessários. Durante o uso, os pesquisadores podem verificar o uso de poder de computação, memória e disco a qualquer momento e, se perceberem que os recursos não são suficientes, podem iniciar um aplicativo para obtê-los. Esse processo automatizado alivia muito a pressão na operação interna e manutenção do instituto de pesquisa.
Finalmente, quando o projeto é fechado, a plataforma libera automaticamente os recursos de computação e, ao mesmo tempo, armazena os arquivos do projeto de forma persistente, de modo a garantir que a taxa de utilização dos recursos de computação possa ser melhorada e o custo do poder de computação possa ser reduzido. reduzido tanto quanto possível . Com a ajuda da poderosa capacidade de agendamento de recursos do ModelWhale e do mecanismo perfeito de gerenciamento de recursos, o instituto de pesquisa ultrapassou as limitações de sua arquitetura subjacente e realizou a aplicação de minimizar o consumo de energia e maximizar a eficiência dos recursos locais de poder de computação.
Uma variedade de recursos de computação pode ser selecionada sob demanda
Ponto problemático 2: baixa eficiência de ajuste do modelo
Em comparação com dados de imagens naturais, a composição dos dados de sensoriamento remoto é mais complicada. A inconsistência dos parâmetros físicos de satélites, sensores e outros equipamentos de aquisição torna as fontes de dados de sensoriamento remoto diferentes em muitos aspectos. Portanto, os parâmetros precisam ser ajustados com mais frequência no processo de pesquisa experimental de sensoriamento remoto e dados Compare visualmente os diferentes resultados do processamento. No entanto, é trabalhoso e demorado se atentar à realização de tarefas de treinamento para garantir a continuidade dos experimentos, por isso os pesquisadores do Instituto esperam usar tecnologias e plataformas para automatizar esse processo e melhorar a eficiência do ajuste de modelos .
Solução: hospedagem em nuvem com vários parâmetros, resultados de comparação visual
Com base no ModelWhale, para tarefas de treinamento com uma grande quantidade de cálculo, os pesquisadores podem usar a hospedagem off-line para executar arquivos de projeto do Notebook ou script . Tarefas off-line não têm limite de tempo de execução e são concluídas automaticamente na nuvem. A liberação de tarefas não afetará os pesquisadores .Usar o computador para outros trabalhos. O ModelWhale fornece uma interface de notificação e os pesquisadores podem receber notificações de conclusão do treinamento diretamente de e-mail ou software social, sem ter que ficar de olho no status de execução da tarefa.
Combinado com as características dos dados de sensoriamento remoto, a fim de selecionar o algoritmo mais eficaz, os pesquisadores também podem definir diferentes combinações de parâmetros com antecedência, permitir que várias máquinas concluam o treinamento do modelo unificado sob diferentes configurações de parâmetros e combinar clusters de GPU para encurtar o tempo de treinamento As informações de hiperparâmetros da sessão de treinamento fornecem um relatório de comparação visual para comparar e analisar os prós e contras dos modelos de mais ângulos, ajudando os pesquisadores a selecionar o modelo mais adequado. Depois que a tarefa for executada com sucesso, o pesquisador pode salvar o resultado da operação off-line, gerar o arquivo de resultado ou chamar o arquivo de processo produzido durante o treinamento a qualquer momento.
A função de comparação de índice de treinamento e treinamento off-line fornecida pelo ModelWhale construiu um processo de ajuste altamente automatizado e altamente visualizado, combinado com o agendamento flexível de recursos de computação e encurtou de forma integrada o ciclo de desenvolvimento de algoritmos de aprendizado profundo de sensoriamento remoto.
Crie tarefas off-line usando grupos de vários parâmetros de cluster de GPU
Ponto problemático 3: O método de gerenciamento de dados e fluxo de trabalho precisa ser atualizado com urgência
A reconstrução do fluxo de trabalho tradicional é um dos problemas que o instituto de pesquisa precisa resolver com urgência. Após a adoção em larga escala da IA, a migração do trabalho para a plataforma python pode ser altamente integrada ao aprendizado profundo, mas é impossível gerenciar os dados , algoritmos e modelos de maneira unificada .formam a acumulação de ativos . Às vezes, o instituto de pesquisa precisa acessar centenas de cenas de dados todos os dias, e a enorme quantidade de dados torna o trabalho no estágio de preparação de dados muito complicado. Além disso, mesmo que o modelo de algoritmo seja formado em estágio posterior, a implantação e a operação do modelo de análise de dados de sensoriamento remoto podem depender de diferentes ambientes de software e hardware, incluindo sistemas operacionais, compiladores, bibliotecas de suporte, etc., e é difícil de implantar sob demanda.
Solução: gerenciamento de processo completo de objetos de pesquisa de dados, algoritmos para modelos
Em resposta aos problemas acima, o ModelWhale usa ferramentas de desenvolvimento altamente integradas para ajudar o instituto de pesquisa a construir um fluxo de trabalho eficiente.
Com base na plataforma, o instituto de pesquisa pode acessar vários dados armazenados localmente, bancos de dados, armazenamento de objetos e espaço NAS de várias maneiras e gerenciá-los de maneira unificada . O fluxo colaborativo padronizado da plataforma pode ajudar os membros da equipe de pesquisa a usar vários materiais de produção simultaneamente para pesquisa de análise. Em segundo lugar, os pesquisadores podem personalizar o ambiente de imagem em nuvem de acordo com os requisitos de operação e implantação do modelo de análise de dados de sensoriamento remoto . O ambiente personalizado pode ser descrito com base na especificação da plataforma e só precisa compartilhar a imagem com outras pessoas ou ajudar outras pessoas a reconstruir pode ser garantido a partir do nível do ambiente Reprodução externa do modelo de algoritmo. Como tecnologia, o sensoriamento remoto é frequentemente aplicado para resolver problemas em diferentes campos. Portanto, para o modelo desenvolvido, a plataforma também fornece implantação automática com um clique para simplificar a complexidade do modelo desde o desenvolvimento até a aplicação.
Para o gerenciamento dos processos do projeto, o ModelWhale oferece suporte para desmembrar o projeto em vários estágios de tarefas para controle macro.Pesquisadores de várias áreas podem verificar o andamento das tarefas subdivididas e esclarecer a divisão de responsabilidades para cada pessoa. Os resultados das tarefas podem ser enviados de várias formas e outros membros podem visualizá-los online simultaneamente, o que favorece a sincronização de informações dentro da equipe, controla o ritmo geral e melhora a eficiência da entrega dos tópicos de pesquisa.
Por fim, os pesquisadores podem selecionar o ambiente de análise de tempo de execução, conjuntos de dados e versões de código de algoritmo, integrar os elementos de produção e complementar certas descrições de texto e depositá-los no banco de dados interno da organização, o que é conveniente para reprodução posterior a qualquer momento .
Além disso, os projetos, dados, arquivos e vídeos dentro da equipe podem ser organizados na forma de pastas e tags e depositados na base de conhecimento da equipe para uso de todos.
Gerenciamento da base de conhecimento da equipe ModelWhale
conclusão
Sob a orientação da revolução tecnológica e das políticas de alto nível, a comunidade de pesquisa científica está prestando cada vez mais atenção à inteligência artificial. No futuro, a tecnologia de IA pode se tornar um serviço básico, assim como o processamento e aplicação de dados de sensoriamento remoto, ampliará os métodos e métodos de pesquisa científica em vários campos e mudará o modo de colaboração entre pesquisadores científicos.
Nesse processo de aceitar novas ideias e buscar mudanças, a edição de pesquisa científica ModelWhale da Hejing Technology foca na inovação colaborativa da pesquisa baseada em dados. É infraestrutura digital que promove a reforma do paradigma de pesquisa científica AI for Science e fortalece a organização científica pesquisa . Gerenciamento de processo completo de objetos de pesquisa melhora a reprodutibilidade da pesquisa científica do nível de infraestrutura e ajuda a criar uma boa ecologia de pesquisa científica de colaboração e colaboração; com base no princípio FAIR e no conceito de pesquisa científica aberta, dados e outros materiais de produção de pesquisa Forneça um portal compartilhado aberto seguro e completo e uma bancada interativa on-line ; integração heterogênea, gerenciamento e controle intensivos, alocação sob demanda, resposta ágil e gerenciamento de agendamento de poder de computação poderoso tornam isso possível para computadores pessoais chamar modelos de linguagem LLM grandes e também fazer recursos de poder de computação Maximizar a disponibilidade dentro da equipe da organização; introduzir o conceito ModelOps para ajudar a gerenciar o ciclo de vida completo de modelos grandes.
A versão de pesquisa científica do ModelWhale abrange campos profissionais como ciências da terra, biomedicina, humanidades e ciências sociais, e implementou as melhores práticas em instituições nacionais de pesquisa científica, como o Centro Nacional de Informações Meteorológicas e o Centro de Prospecção Geofísica e Sensoriamento Remoto da Aviação de Recursos Naturais da China. de pesquisa em inovação de dados e suas equipes fornecem suporte. Para quaisquer necessidades relacionadas, você está convidado a entrar no site oficial do ModelWhale para se registrar e experimentar, ou clique em [Contact Product Consultant (redirect to mobile terminal)] para se comunicar conosco.