Este artigo foi compilado a partir do discurso de abertura "Baidu Intelligent Cloud Qianfan Large Model Platform 2.0 Product Technology Analysis" de Xin Zhou, gerente geral da Baidu Intelligent Cloud AI e Big Data Platform, na Baidu Cloud Intelligence Conference - Intelligent Computing & Large Model Technology Subfórum em 5 de setembro de 2023. 》.
Este é um fórum sobre tópicos técnicos. Primeiro farei três pequenas perguntas de desenvolvedores.
A primeira pergunta: quem é o inventor da máquina a vapor?
Foi Watt, o famoso desenvolvedor do século XVIII? Na verdade, foi Newcomen 60 anos antes de Watt. Watt fez muitas melhorias com base na máquina a vapor de Newcomen, melhorando significativamente sua eficiência e iniciando a primeira revolução industrial.
Continuando com a pergunta, você sabe quem inventou o gerador?
Faraday inventou o primeiro gerador de corrente contínua do mundo em 1831 e, mais de 50 anos depois, em 1887, Tesla inventou o gerador de corrente alternada. Os geradores CA tornam a transmissão de energia mais eficiente e, portanto, podem ser transmitidas mais longe.Com a popularidade da CA, o processo da segunda revolução industrial foi bastante acelerado.
Última pergunta, qual era o nome do primeiro computador do mundo?
ENAIC nasceu em 1946 na Universidade da Pensilvânia. Mais de 10 anos depois, em 1959, com a invenção do circuito integrado por Noyce da Fairchild Corporation, os computadores começaram a se espalhar em grande escala e se tornaram uma importante pedra angular da terceira revolução industrial.
Todos devem ter adivinhado por que existem essas três questões. Quando uma tecnologia é inventada e aplicada em larga escala, ela certamente passará por um processo de melhoria de eficiência, redução de custos e popularização em larga escala.
Na era dos grandes modelos, a Baidu Intelligent Cloud Qianfan Large Model Platform está empenhada em promover este processo, melhorando significativamente a eficiência do desenvolvimento e aplicação de grandes modelos, reduzindo custos e promovendo a aplicação industrial e a inovação.
Em 27 de março deste ano, lançamos a versão 1.0 da plataforma de modelos grandes Qianfan.Muitos desenvolvedores corporativos de vários setores nos abordaram, esperando que ambas as partes possam discutir a aplicação e implementação de modelos grandes.
Até agora, nossa plataforma de modelo grande Qianfan tem mais de 10.000 empresas e usuários testando e explorando. Testamos mais de 400 cenários e desenvolvemos soluções para vários setores, como assuntos governamentais, finanças, indústria, transporte, etc. Ao mesmo tempo, também fornecemos ferramentas de produto mais fáceis de usar em cada link, com base nos problemas que surgem no treinamento real e no uso de grandes modelos pelas empresas e no desempenho técnico mais estável.
Portanto, hoje estou muito feliz em apresentar a vocês a atualização mais recente do Qianfan Large Model Platform 2.0.
Na camada MaaS, incluindo o modelo grande Wenxin, acessamos um total de 42 modelos grandes com características únicas para atender às diversas necessidades de modelos grandes em todos os aspectos dos cenários de aplicação industrial. Melhoramos e aprimoramos a cadeia de ferramentas de ciclo de vida completo do modelo grande - seguindo passo a passo nesta plataforma, você pode construir rapidamente um aplicativo desejado ou reconstruir seu produto atual.
Além de usar modelos grandes, empresas líderes em muitos setores usarão nossa plataforma para treinar modelos grandes. Na camada PaaS, combinamos os recursos da plataforma de desenvolvimento de IA para obter aceleração de treinamento, modelagem de cenários, integração de aplicativos e outras funções, fornecendo melhores práticas para empresas que treinam grandes modelos.
Na camada IaaS, o Baidu Baige fornece infraestrutura de IA estável e de alto desempenho.
Abaixo, explicarei nossas atualizações de habilidades, uma por uma, para todos.
Atualmente, a plataforma de modelo grande Qianfan oferece 42 modelos grandes com características diferentes.Além do modelo grande Wenxin, há também ChatGLM de Zhipu Huazhang, que é muito excelente no mercado, e RWKV, que pode suportar janelas muito grandes. Existem também excelentes modelos estrangeiros como BLOOMZ, Llama 2, etc.
Além disso, fornecemos 41 conjuntos de dados, incluindo dados gerais, dados especiais e dados de instrução, abrangendo educação, finanças, direito, etc. Ao usar os conjuntos de dados pré-instalados na plataforma de modelos grandes Qianfan, os desenvolvedores podem reduzir significativamente o custo dos dados durante o treinamento, especialmente durante a fase de inicialização a frio, e construir rapidamente seus próprios modelos industriais.
Além disso, fizemos muitas melhorias em vários modelos de terceiros com base nas necessidades reais da empresa, uma das quais é a melhoria chinesa. Para excelentes modelos de código aberto como BLOOMZ e LIama 2, depois de chegarem à China, todos descobrirão que estão um pouco aclimatados e não conseguem entender chinês. O Baidu usa seus muitos anos de acumulação de dados chineses e conhecimento chinês para aprimorar esses modelos em chinês.
Podemos ver que, sejam os parâmetros 7B ou 13B, o efeito do Llama 2 após o aprimoramento chinês no nível de dados chinês e vários critérios de avaliação são mais de 10% melhorados em comparação com a versão original.
Ao mesmo tempo, a aplicação do modelo exige muitos recursos. Comprimimos o tamanho do modelo e aumentamos a velocidade de inferência do modelo. A plataforma de modelos grandes Qianfan pode reduzir o tamanho dos modelos de código aberto em mais de 60% em média e aumentar a velocidade de inferência em até 5 vezes, o que é um grande benefício para a aplicação prática de nossos modelos.
Além disso, também fornecemos recursos aprimorados, como aprimoramento de comando, aprimoramento de desempenho, expansão de contexto de 32K e aprimoramento de segurança para atender às necessidades diárias e de cenário de cauda longa das empresas.
Como mencionado há pouco, o Baidu Baige fornece uma plataforma de computação heterogênea estável e de alto desempenho para plataformas de modelo de camada superior e aplicativos de modelo.
A plataforma Baige fez muitas otimizações em três aspectos: estabilidade de treinamento, reconhecimento de falhas e tolerância a falhas.
Em termos de estabilidade de treinamento, o tempo efetivo de treinamento da tarefa Wanka de Baige foi responsável por 95%.
No nível de reconhecimento de falhas, construímos capacidades de reconhecimento para cenários de falhas comuns, como saída de tarefas, suspensão de tarefas e operação lenta. Especialmente as duas últimas falhas estão relativamente ocultas. A plataforma Baige desenvolveu um sistema de indicadores baseado em um grande número de melhores práticas do Baidu, que pode detectar problemas em segundos, localizar falhas em minutos e concluir a recuperação de falhas em 30 minutos.
A tolerância a falhas é o último obstáculo para construir estabilidade. A plataforma Baige fornece tolerância automática a falhas, grava pontos de verificação de 100 GB em segundos e aumenta o tempo efetivo de treinamento em 10%.
Além disso, para cenários de alta frequência de aplicações de modelos grandes, a plataforma Qianfan fornece salas de amostra para paradigmas de aplicação, o que pode reduzir o limite para a implementação de aplicações empresariais. Tomando como exemplo o cenário de aprimoramento do conhecimento do domínio, apresentamos todo o processo.
Primeiro, observe o lado esquerdo da imagem. A consulta inserida pelo usuário é passada para o modelo grande por meio do gateway da API. O modelo grande desmonta a consulta em diferentes subtarefas. Neste link, podemos definir ou aprender antecipadamente os recursos de desmontagem de intenção relevantes, organizando estaticamente a Cadeia ou organizando dinamicamente o Agente. Além disso, para as subtarefas desmontadas, a otimização automática de prompt também pode ser executada para passá-las com mais precisão para o downstream.
Nesse cenário, a consulta do usuário pode ser dividida em recuperação de conhecimento de domínio, aprimoramento de pesquisa e uma série de chamadas e consultas de ferramentas. Nesta etapa, diferentes subtarefas são executadas respectivamente, chamadas de ferramentas e consultas relevantes são concluídas e os resultados de retorno das subtarefas são obtidos.
A parte inferior da figura mostra o sistema onde o aprimoramento do conhecimento no domínio será chamado por subtarefas. Por exemplo: vetorizamos antecipadamente bases de conhecimento e documentos relacionados ao domínio e os armazenamos no banco de dados BES do Baidu Smart Cloud. Como um mecanismo de análise de recuperação, o BES (Baidu Elasticsearch) atualizou abrangentemente suas capacidades vetoriais na era dos grandes modelos, fornecendo conhecimento e memória para grandes modelos.Ao mesmo tempo que melhora o desempenho dos negócios, também pode proteger eficazmente a segurança dos dados de domínio privado corporativo.
Na etapa anterior, cada subtarefa obteve os resultados retornados por meio de consulta ao banco de dados vetorial, chamada de ferramenta, etc., e então inseriu essas estruturas no modelo grande para processamento e integração de conteúdo. Por fim, os resultados após a integração do modelo grande são filtrados pelo nosso módulo de segurança de conteúdo e retornados.
No lado direito da imagem estão as diversas infraestruturas das quais dependemos para construir todo o sistema, como gerenciamento de chaves, gerenciamento de logs, etc.
Toda a sala de amostra do aplicativo possui duas características muito distintas: A primeira característica é que o conteúdo é muito abrangente. O índice vetorial inclui aprimoramento de pesquisa e aprimoramento de SQL. Fornecemos todas essas ferramentas que exigem recuperação de conhecimento de domínio. O segundo ponto é apoiar a construção rápida de aplicativos, gateway de API, cache de alta velocidade LLM, gerenciamento de chaves e outras funções necessárias para aplicativos de nível empresarial.Os usuários podem usar essas funções diretamente por meio desta sala de amostra para construir rapidamente com base em seus próprios aplicativos e dados. Crie seus próprios aplicativos de modelo grande em nível empresarial.
Mais de uma dúzia de salas modelo como esta foram fornecidas na plataforma modelo Qianfan para ajudar empresas e usuários a construir rapidamente seus próprios aplicativos generativos de IA.
Ver é melhor do que ouvir cem vezes. Tendo dito tanto agora, ainda espero mostrar a vocês como usar a plataforma Qianfan. Vamos assistir a um vídeo para ver como um engenheiro reconstruiu o produto de análise de dados de uma empresa em 7 horas.
Nossa equipe tem um colega estagiário de verão, o vídeo registra como ele usou a plataforma de modelo grande Qianfan para construir rapidamente um aplicativo generativo de IA.
Amigos que estão muito familiarizados com o desenvolvimento e aplicação de grandes modelos certamente poderão ver que o que ele faz é na verdade uma função de exploração interativa de dados. No vídeo, ele fez duas coisas: a primeira coisa foi ajustar as instruções de consulta desde o processamento de linguagem natural até instruções SQL; a segunda coisa foi usar a recuperação de conhecimento no domínio para fazer perguntas e respostas sobre o conhecimento profissional neste campo e, finalmente, no DEMO Essas duas funções são depuradas internamente.
No fórum principal desta manhã, o Dr. Shen Dou lançou nossa família de aplicativos nativos de IA, na qual marketing de serviços, melhoria da eficiência do escritório e otimização da produção estão todos pré-instalados com a versão do componente Qianfan. Por trás dessa capacidade está nosso plano geral de API de site completo, que permite que empresas e fabricantes de aplicativos de grandes modelos integrem com mais flexibilidade grandes modelos e cadeias de ferramentas Qianfan em seus próprios aplicativos por meio da API de site completo e construam seus próprios aplicativos nativos de IA.
Tomando como exemplo o produto de BI e visualização de dados Sugar BI, ao chamar a interface do modelo grande Qianfanshangwenxin, baseado no BI tradicional, ele suporta a exploração de dados conversacionais, obtém rapidamente gráficos e conclusões de dados e pode ser aplicado a relatórios e telas grandes fazendo. Sugar BI recebeu solicitações POC de dezenas de clientes um mês após seu lançamento, o que mostra o entusiasmo do mercado por aplicações nativas de IA.
O poder da computação da IA está se desenvolvendo muito rapidamente e as atualizações são comuns. Ao mesmo tempo, já existe uma seleção muito rica de poder de computação de IA no mercado.
No entanto, tanto poder computacional de IA é um pesadelo para o desenvolvimento e aplicação de grandes modelos. Adaptar vários hardwares é uma tarefa tecnicamente difícil que requer engenheiros familiarizados com hardware, estruturas, algoritmos e com vasta experiência em computação, armazenamento, rede e outros campos.
A plataforma de modelo grande Qianfan foi adaptada à combinação de modelos e poder de computação convencionais e pode gerenciar e programar diferentes poderes de computação, melhorando significativamente a eficiência de desenvolvimento e a utilização de recursos das empresas.
Atualmente, os grandes modelos estão nos estágios iniciais de implementação industrial, e dados de alta qualidade são um elemento-chave para concretizar a industrialização de grandes modelos.
Treinamento massivo de dados, ajuste fino de instruções e aprendizado de reforço baseado em feedback humano podem alinhar continuamente grandes modelos com valores e formas de pensar humanos, tornando modelos grandes mais utilizáveis.
A Baidu Intelligent Cloud desenvolveu de forma independente a plataforma de anotação de dados de grandes modelos líder do setor, fornecendo serviços e operações de dados e pode passar pela última etapa da implementação de grandes modelos. A plataforma suporta uma produção de dados em circuito fechado desde a coleta e limpeza de dados, anotação de ajuste fino de instruções e anotação de aprendizagem por reforço até avaliação de modelo.
Para garantir a qualidade da anotação de dados, também construímos um escalão de talentos de serviços de dados de processo completo e treinamos centenas de anotadores de dados de grandes modelos em tempo integral na base de anotação de dados Baidu Smart Cloud Haikou, com uma taxa de graduação de 100%.
A segurança dos dados é sempre uma prioridade máxima. O Baidu Smart Cloud pode fornecer serviços de dados ponta a ponta de alta segurança. A plataforma de anotação oferece suporte à implantação privada e fornece aos clientes soluções diversificadas de segurança de dados, vinculando-se aos recursos básicos.
Atualmente, praticamos com muitas empresas e acumulamos mais de 400 cenários. Incluindo pan-tecnologia, finanças, energia, assuntos governamentais, etc., conduziremos uma cooperação aprofundada com mais indústrias no futuro, permitindo que grandes modelos capacitem milhares de indústrias.
No conteúdo de hoje, apresentamos a atualização mais recente da plataforma de grande modelo Baidu Intelligent Cloud Qianfan, incluindo: modelos e conjuntos de dados, cadeias de ferramentas e paradigmas de aplicativos, infraestrutura de IA Baidu Baige, API de site completo, adaptação multi-core e outras funções ou características . Também lançou um elemento-chave para atender à aplicação industrial de grandes modelos - uma plataforma de anotação de dados de grandes modelos.
Esperamos que, no futuro, estes produtos possam ajudar os parceiros corporativos a reduzir ainda mais os custos de desenvolvimento e aplicação de grandes modelos, promover conjuntamente a implementação industrial de grandes modelos, promover conjuntamente a inovação industrial e acelerar a inteligência da indústria.
Milhares de velas competem para criar brilho juntas!
- - - - - - - - - - FIM - - - - - - - - - -
Leitura recomendada
Introdução à aplicação prática da tecnologia de compreensão de código
O caminho para a otimização do desempenho do compilador de pequenos programas
Prática de otimização do pacote Baidu APP iOS tamanho 50M (6) Método de limpeza inútil
O autor da estrutura de código aberto NanUI passou a vender aço e o projeto foi suspenso. A lista gratuita número um na App Store da Apple é o software pornográfico TypeScript. Ele acaba de se tornar popular, por que os grandes começam a abandoná-lo ? Lista TIOBE de outubro: Java tem o maior declínio, C # está se aproximando Java Rust 1.73.0 lançado Um homem foi encorajado por sua namorada AI a assassinar a Rainha da Inglaterra e foi condenado a nove anos de prisão Qt 6.6 lançado oficialmente Reuters: RISC-V a tecnologia se torna a chave para a guerra tecnológica sino-americana Novo campo de batalha RISC-V: não controlada por nenhuma empresa ou país, a Lenovo planeja lançar o Android PC