Isso é produtividade na era dos modelos grandes!

Wenxin e Flying Paddle nos mostraram a produtividade dos principais modelos grandes.

Qual é a extensão do grande volume de aplicativos do modelo? Alguns dias atrás, o que víamos era escrever artigos, fazer desenhos e responder questões de matemática. Agora, algumas pessoas usaram assim:

Se uma longa conversa for encaminhada para outro bate-papo em grupo, a IA pode gerar automaticamente um resumo. Depois de obter os dados, analise-os diretamente com evidências e imagens.
Desde análise de mercado, construção de marca até a produção de anúncios em vídeo, todo o processo pode ser concluído com uma simples conversa com IA. Esta é uma série de tecnologias, produtos e conquistas ecológicas exibidas pela Baidu na recém-concluída conferência WAVE SUMMIT, incluindo o modelo Wenxin, a plataforma de remo voador e aplicativos nativos de IA, como Liuliu.

Recentemente, grandes modelos de linguagem fizeram avanços tecnológicos chocantes. A inteligência artificial representada por grandes modelos de linguagem está penetrando em milhares de indústrias, acelerando a atualização industrial e o crescimento econômico. Wang Haifeng, diretor de tecnologia da Baidu e diretor do Centro Nacional de Pesquisa de Engenharia para Tecnologia e Aplicação de Aprendizado Profundo, disse que o modelo de linguagem grande tem os principais recursos básicos de inteligência artificial, como compreensão, geração, lógica e memória, trazendo o aurora da inteligência artificial geral.

Wang Haifeng afirmou ainda que a inteligência artificial tem muitas habilidades típicas, entre as quais compreensão, geração, lógica e memória são as principais habilidades básicas. Quanto mais fortes forem essas quatro habilidades, mais próximas estarão da inteligência artificial geral.

Diante dessa importante mudança na inteligência artificial, as duas principais tecnologias do Baidu, Flying Paddle e Wenxin Large Model, apresentaram uma série de lançamentos importantes.

Modelo grande Wenxin: muito à frente

No campo doméstico de IA, o Baidu sempre esteve na vanguarda da tecnologia, desde o lançamento do ERNIE 1.0 em março de 2019. Em março deste ano, o Baidu assumiu a liderança ao revelar o modelo de linguagem em larga escala aprimorado por conhecimento autodesenvolvido "Wen Xin Yi Yan". Dicas e outras tecnologias têm vantagens técnicas, como aprimoramento de conhecimento, aprimoramento de recuperação e aprimoramento de diálogo.

A versão mais recente do Wenxin Large Model é a versão 3.5 lançada há pouco tempo. Wu Tian, ​​​​vice-presidente do Baidu Group e vice-diretor do Centro Nacional de Pesquisa em Engenharia para Tecnologia e Aplicação de Deep Learning, disse que Wenxin Yiyan dominou mais de 200 gêneros criativos, cobrindo quase todas as necessidades de escrita, e a riqueza do conteúdo é 1,6 vezes a do período inicial, o comprimento da cadeia é 2,1 vezes o da etapa inicial e a cobertura de pontos de conhecimento é 8,3 vezes a da etapa inicial.

Na nova versão, o Wenxin Big Model inova ainda mais em tecnologias essenciais, como modelo básico, aprimoramento de conhecimento e aprimoramento de recuperação, e realiza melhorias no modelo básico, tecnologia de ajuste fino, aprimoramento de ponto de conhecimento, raciocínio lógico e mecanismo de plug-in.

Entre eles, com base no aprimoramento de conhecimento e recuperação, o Wenxin large model 3.5 propõe "tecnologia de aprimoramento de pontos de conhecimento", que permite ao modelo usar melhor pontos de conhecimento finos para melhorar a compreensão e as capacidades de geração e aprimorar a compreensão e a aplicação do conhecimento mundial .

Em termos de raciocínio, por meio da construção de dados lógicos em larga escala, modelagem de conhecimento lógico, combinação de conhecimento semântico de granularidade múltipla e tecnologia de rede neural simbólica, o modelo grande Wenxin melhora o desempenho do raciocínio lógico, cálculo matemático e tarefas de geração de código.

O que pode nos trazer uma percepção mais óbvia é o plug-in. Sabemos que em aplicações práticas, grandes modelos às vezes enfrentam problemas de dados limitados e recursos insuficientes. Na versão 3.5, um mecanismo de plug-in foi adicionado ao modelo grande do Wenxin. Os plug-ins oficiais lançados incluem Baidu Search, Scroll Documents, Yijing Liuying, Shuo Tu Jie Hua e E Yan Yi Tu. em:

• A pesquisa Baidu é o plug-in padrão, que permite que Wenxinyiyan obtenha informações precisas e em tempo real.

• A navegação de documentos pode compreender e localizar totalmente o formato, layout e outras informações do documento com a ajuda do modelo inteligente de documento e do sistema de pesquisa, superando a limitação do modelo grande na compreensão do comprimento do documento. Agora podemos usar Wenxin para "dialogar" com documentos para resolver as necessidades de resumir, perguntar e responder e criar documentos.

• Baseando-se no grande modelo multimodal de Wenxin, Yijing Liuying superou problemas técnicos, como alinhamento semântico entre diferentes modalidades, e integrou de forma inovadora uma série de recursos técnicos, como texto, visão, voz e modalidade cruzada . para simplesmente inserir texto, você pode obter o vídeo completo em 1 minuto.

• Esses diagramas estão conectados ao grande modelo multimodal de Wenxin, realizando a capacidade de entender imagens, não apenas permitindo que a IA "veja imagens e fale", mas também entenda profundamente a atmosfera e as emoções das imagens. Os usuários podem fazer upload e upload de fotos para atender às necessidades de postagem com fotos, e-commerce com fotos, etc., e para ajudá-lo a inspirar.

• Eyan Yitu realiza a exigência de converter requisitos textuais em gráficos visuais. Precisa apenas de requisitos de gráfico de dados simples ou insira o conteúdo de dados do ícone a ser gerado para gerar gráficos interativos para ajudar os usuários a concluir a análise de dados, insights e apresentação interativa de informações do gráfico. Entende-se que o E-YiYiTu já suporta a geração de 7 tipos de gráficos, incluindo gráficos de dados, gráficos de pizza, gráficos de linhas, gráficos de radar, gráficos de funil, mapas mentais e gráficos de dispersão.

No local, Wu Tian demonstrou a forma de aplicar plug-ins em Wenxinyiyan. No processo de falar com AI, agora você pode deixar o modelo grande resumir o conteúdo de artigos longos, exibir dados em gráficos, ler imagens, gerar direitos autorais, e até pode sintetizar vídeo com voz. Levou apenas 5 minutos para Wenxin Yiyan concluir o trabalho de uma cena completa, desde a pesquisa do setor, análise e seleção da marca até a geração de vídeos promocionais.

O plug-in expande ainda mais o limite de capacidade do modelo grande e também é crucial para a ecologia do modelo grande Wenxin. O Baidu disse que o Wenxin Yiyan lançará mais plug-ins oficiais e de terceiros de alta qualidade e abrirá gradualmente a ecologia do plug-in para ajudar os desenvolvedores a criar aplicativos nativos de IA com base no modelo grande do Wenxin.

Para atingir esse objetivo, o Baidu fornece um conjunto de ferramentas de desenvolvimento de plug-ins com base na tecnologia central de "Wen Xin Yi Yan", que pode oferecer suporte ao desenvolvimento de vários tipos de plug-ins, como serviços de informação, ferramentas e inovações baseadas em grandes modelos de linguagem. Após a conclusão do desenvolvimento, ele também pode ser integrado à ecologia da camada de aplicativo por meio da plataforma de acesso de plug-in.

A capacidade do plug-in foi lançada oficialmente e convidada a testar: yiyan.baidu.com/developer

Ao mesmo tempo, a atualização mais recente do Flying Paddle AI Studio (Galaxy Community) lançou oficialmente a Galaxy Large Model Community.Na Galaxy Large Model Community, os desenvolvedores podem obter uma experiência integrada de desenvolvimento de modelos em grande escala. Atualmente, a comunidade de modelos grandes de Xinghe acumulou mais de 300 aplicativos criativos de modelos grandes, e a comunidade também oferece uma variedade de funções para facilitar a comunicação dos desenvolvedores.

Na reunião, o Baidu também lançou o mais recente plano de co-criação de modelo de grande escala Wenxin "Galaxy". Com ricos recursos de modelo em grande escala e recursos ecológicos industriais de vários níveis, o Baidu se unirá a desenvolvedores e parceiros ecológicos para ativar o valor de recursos de dados e construir em conjunto plug-ins de modelo grande, aplicativos de IA inovadores e abrangentes.

Flying paddle framework de código aberto v2.5, abrangendo modelos grandes

A razão pela qual o grande modelo Wenxin pode subverter a produtividade não é apenas por causa da inovação no nível do algoritmo de IA, mas também pela otimização da estrutura de aprendizado profundo.

A Baidu é uma das poucas empresas com layout full-stack na área de inteligência artificial, abrangendo desde chips até aplicativos. No nível da estrutura, a plataforma de aprendizado profundo Paddle suporta a produção de grandes modelos para cima, melhorando a eficiência e a flexibilidade da implantação do modelo e se adapta a vários hardwares para baixo, melhorando a eficiência da adaptação de hardware e reduzindo custos.

No WAVE SUMMIT de hoje, a estrutura de código aberto Flying Paddle lançou oficialmente a versão 2.5, completando uma atualização de arquitetura abrangente e trazendo novas funções em treinamento de modelo em larga escala, inferência e adaptação de multi-hardware.

O ponto chave é a otimização conjunta com o modelo Wenxin.

Por meio de uma série de novas tecnologias em treinamento de modelos grandes, raciocínio, adaptação de hardware e outros aspectos da estrutura de aprendizado profundo do Flying Paddle, a eficiência de treinamento e raciocínio do modelo grande de Wenxin foi bastante aprimorada. Um conjunto de números foi fornecido no local: por meio da otimização colaborativa, a velocidade de treinamento do Wenxin Large Model 3.5 é três vezes maior do que antes da otimização e a velocidade de inferência é mais de 30 vezes mais rápida.

Entre eles, em termos de treinamento de modelo grande, Fei Paddle e Wenxin realizaram otimização colaborativa no cluster de hardware, o que aumentou a proporção de tempo de treinamento efetivo. No nível do chip, a otimização colaborativa de chip, armazenamento e rede foi realizados para melhorar a velocidade de processamento do treinamento.

Em termos de software, a otimização colaborativa de remos voadores e algoritmos de modelo melhora a eficiência da convergência do modelo. Especialmente no treinamento de modelos grandes, a eficiência de convergência otimizada e a estabilidade reduzem bastante o tempo de treinamento e atingem o dobro do resultado com metade do esforço.
Muitas empresas de tecnologia estão otimizando o treinamento de grandes modelos, mas em termos de raciocínio, enfrentamos desafios maiores e mais severos. Li Yanhong disse uma vez: "Quando os outros começaram a pensar em como treinar, já percorremos um longo caminho no raciocínio."
Em termos de raciocínio de modelo grande, o Flying Paddle tem três links principais: compressão de modelo, mecanismo de raciocínio e serviço implantação. Realizou uma gama completa de otimização colaborativa.
Além de adotar um algoritmo de compressão adaptável Shift-SmoothQuant, um esquema de inferência quantitativa híbrido combinado com cenários e tecnologia de processamento de lote de inserção dinâmica, etc., o Flying Paddle também continua a combinar métodos como aceleração de fusão de operador e aceleração de processamento de entrada de comprimento variável para permitir o raciocínio do modelo em grande escala Wenxin A velocidade é mais de 30 vezes mais rápida do que antes da otimização.
A fim de melhor apoiar a produção e aplicação de modelos grandes, o grande conjunto de modelos do Flying Paddle abriu todo o processo e atualizou todo o processo em torno dos seis estágios de desenvolvimento de modelos grandes, treinamento, ajuste fino, compressão, raciocínio, e implantação, reduzindo o custo de grandes modelos.Desenvolvimento de modelo e custos de aplicação.
A otimização da estrutura do fly paddle para computar grandes modelos também é inseparável da melhoria contínua dos recursos de colaboração de software e hardware. O Flying Paddle fornece uma solução unificada para a implantação de modelos de grande escala Wenxin em vários hardwares e também promove o estabelecimento de padrões nacionais para adaptação de software e hardware.
Anteriormente, Baidu, Sugon, Phytium e Inspur elaboraram em conjunto o padrão nacional "Especificação Técnica para Adaptação de Plataforma Multi-Hardware da Estrutura de Aprendizagem Profunda de Inteligência Artificial" liderado pelo Instituto Chinês de Padronização de Tecnologia Eletrônica. Com base nesse padrão, Paddle e mais de 30 fabricantes de hardware realizaram uma otimização profunda da colaboração de software e hardware, o que melhorou muito a eficiência da adaptação de software e hardware.

Além disso, o modelo grande Wenxin foi adaptado com 12 parceiros de hardware, incluindo Nvidia, Cambrian e Huawei, cobrindo vários tipos de hardware na nuvem e no lado do dispositivo. No momento, 25 parceiros de hardware construíram em conjunto a zona ecológica de hardware do AI Studio, introduzindo múltiplos poderes de computação ecológica à comunidade de modelos grandes do AI Studio e apoiando desenvolvedores no desenvolvimento de modelos grandes baseados no AI Studio e em diversas experiências de aplicativos.
No nível básico, o remo voador também completou uma atualização importante. Ao construir o sistema operador básico e o mecanismo operador combinado, o Paddle integra melhor o compilador de rede neural CINN com a estrutura principal e realiza uma otimização de desempenho mais geral com a ajuda de seus recursos gerais de compilação e otimização. Olhando para o exposto, a diferenciação automática da estrutura básica também é mais completa, realizando uma interface de desenvolvimento de diferenciação automática de alto nível dinâmica e estática unificada, que pode realizar capacidades de diferenciação automática de alto nível a um custo menor.
Ma Yanjun disse que usar o Paddle Compiler pode alcançar um desempenho melhor do que outros frameworks convencionais do setor.
Com base na atualização de capacidade da estrutura do remo voador, especialmente a capacidade de diferenciação automática de alta ordem, a plataforma de código aberto do remo voador lançou AI para ferramentas científicas de código aberto, como PaddleScience, PaddleHelix e Paddle Quantum, que suportam obstáculos de forma complexa e estresse estrutural Numerosos exemplos de cálculo de campo, como análise de deformação e simulação molecular de materiais, apoiam amplamente a pesquisa científica e aplicações industriais em direções de ponta, como IA + dinâmica de fluidos computacional, computação biológica e computação quântica.
Após as duas principais atualizações da estrutura básica, a nova estrutura de treinamento do Flying Paddle foi inicialmente formada, que não apenas mantém as vantagens da dinâmica unificada e estática, dinâmica de código de uma linha para implantação de treinamento estático, mas também reduz ainda mais o custo marginal custo da otimização do desempenho do modelo por meio da tecnologia do compilador.
Depois de resolver vários problemas no processo de desenvolvimento e implantação de grandes modelos, a plataforma Flying Paddle agora alcançou um limite inferior para o desenvolvimento de modelos de IA, melhores resultados e processos mais padronizados.

interromper a produtividade

Na conferência, o Baidu demonstrou a combinação de grandes modelos de linguagem e trabalho inteligente, reformulando o paradigma do trabalho das pessoas.

A capacidade de Wenxin Yiyan foi aplicada ao fluxo de trabalho interno do Baidu por meio da plataforma de trabalho inteligente "Ruliu". No local, Li Ying, vice-presidente do Baidu Group e diretor de informações do Baidu Group, lançou Ruliu "Super Assistant".

Ele pode resolver a maioria dos problemas em seu trabalho. Na conferência, o Baidu realizou uma demonstração.

O processamento de documentos é uma necessidade rígida para o trabalho de produtividade e geralmente leva muito tempo para localizar e pular entre um grande número de documentos. Depois que o modelo grande aparecer, você só precisa dar instruções ao superassistente, que pode encontrar imediatamente os documentos relevantes. Se você precisa aprender novos conhecimentos, o modelo grande pode gerar respostas detalhadas.Se você clicar no link de referência anexo e descobrir que é um artigo em inglês, também pode deixar o modelo grande gerar um resumo chinês.

Diz-se que muitos funcionários do Baidu agora estão usando o superassistente Ruliu, e a IA pode dobrar a eficiência em muitos pequenos detalhes.

Quando se trata de melhorar a eficiência, como escrever código melhor é muito importante nas empresas de tecnologia. Li Ying demonstrou o assistente de programação inteligente Comate X, uma ferramenta de codificação baseada no modelo Wenxin, que atualmente suporta mais de 30 idiomas e mais de 10 IDEs, até mesmo algumas linguagens de nicho, como linguagens de hardware automotivo.

Tomando a geração de código como exemplo, o Comate pode gerar trechos de código correspondentes com base em descrições de linguagem natural e também oferece suporte à geração automática de código com base em comentários na área de edição de código. Em termos de recursos de teste de código, o Comate pode gerar casos de teste de unidade para o código selecionado, reduzindo bastante o tempo para os engenheiros escreverem casos de teste de unidade e melhorando a qualidade do código.

O desenvolvimento de aplicativos nativos de IA requer não apenas ferramentas de código, mas também um kit de desenvolvimento. A Baidu propôs o Comate Stack, que inclui três ferramentas: plataforma de avaliação iEValue, plataforma de desenvolvimento de aplicativos de IA IPlayground e plataforma de hospedagem de conjunto de dados iDateSet.

Usando este sistema, leva apenas duas etapas para desenvolver um plug-in de política de férias e você não precisa inserir as regras, basta alimentar o documento diretamente para o AI.

Agora, a grande capacidade do modelo tornou-se o assistente de IA dos funcionários do Baidu, e o Comate ajudou 80% dos engenheiros do Baidu a melhorar a eficiência da programação e subverter o modelo de desenvolvimento do programa. E essa produtividade revolucionária atraiu o interesse de mais de 100 parceiros.

Enfrentando todos os cenários e abrangendo vários setores

A prática de aplicação do grande modelo Wenxin cobriu a maior escala industrial da China.
Durante esse período, o processo de desenvolvimento de grandes modelos é medido pelo céu, papéis e tecnologias estão surgindo um após o outro e os aplicativos estão em constante atualização. O Baidu sempre se manteve na vanguarda desta competição - a versão constantemente atualizada do O Wenxin foi aplicado para pesquisa, fluxo de informações e Internet Entre produtos como discos e alto-falantes inteligentes, está aberto a usuários mais comuns e os resultados para empresas também são muito impressionantes.
O modelo grande Wenxin estabeleceu um conjunto completo de sistema de modelo grande, no qual o modelo grande básico inclui NLP (compreensão de linguagem natural), CV (visão de computador), modelo grande cross-modal e o modelo grande de tarefa inclui diálogo, pesquisa, informações extração, biológica Tarefas típicas como cálculos.

Atualmente, o grande modelo Wenxin tem a maior escala industrial na China. Mais de 150.000 empresas se inscreveram para o teste interno de Wenxin Yiyan. Entre elas, mais de 300 parceiros ecológicos alcançaram resultados de teste em mais de 400 cenários específicos, abrangendo escritórios trabalhar e melhorar a eficiência. , gestão do conhecimento, atendimento ao cliente inteligente, marketing inteligente e outros campos. A Baidu também lançou em conjunto 11 modelos industriais de grande escala com empresas como State Grid, Shanghai Pudong Development Bank, Taikang e Geely.

No ano passado, Wang Haifeng apontou que a plataforma de aprendizado profundo mais o modelo grande penetrarão em toda a cadeia da indústria de IA, do hardware aos aplicativos de cena, acelerando ainda mais as atualizações inteligentes. Hoje, a pilha de tecnologia AI de modelo em grande escala do Baidu alcançou um layout abrangente, e a tecnologia de aprendizado profundo e modelo ampliado permitiu que a AI realmente entrasse no estágio de produção industrial em massa.

Ao mesmo tempo, o Flying Paddle também anunciou os dados ecológicos mais recentes: toda a plataforma reuniu 8 milhões de desenvolvedores, atendeu 220.000 empresas e instituições e 800.000 modelos baseados no Flying Paddle foram criados.

As pessoas dizem que a onda de modelos em grande escala desencadeada pelo ChatGPT durante esse período trouxe mudanças na produtividade. Enquanto a tecnologia de modelos em grande escala continua a evoluir, os novos recursos da IA ​​serão eventualmente implementados na prática de vários setores.

A Baidu já assumiu a liderança nesse processo.

Fonte do artigo: Conta oficial do coração da máquina

Autor: Zenan