Autor | GodStart
Introdução
Com o surgimento da onda de IA, mais e mais aplicativos estão usando grandes modelos para reconstruir formulários de negócios. No processo de design e otimização do Prompt, descobrimos que todo o ciclo de avaliação e otimização do Prompt é muito longo. Portanto, propusemos a Uma solução integrada para geração, avaliação e iteração imediatas para resolver os desafios no processo de avaliação e otimização imediata e acelerar a integração de modelos de negócios e grandes.
O texto completo tem 6.796 palavras e o tempo estimado de leitura é de 17 minutos.
01 fundo
Com a exploração e prática de tecnologia de grandes modelos em aplicações interativas de IA, testemunhamos seus resultados notáveis na experiência do usuário e na atmosfera interativa da plataforma. Esta tecnologia não só melhora as taxas de interação do utilizador e o tempo de envolvimento, mas também abre novas formas de proporcionar experiências interativas mais ricas. Com base nesse entendimento, definimos três objetivos principais de desenvolvimento: primeiro, expandir o escopo de aplicação de grandes modelos em diferentes cenários interativos para cobrir mais conteúdo e grupos de usuários; segundo, melhorar a capacidade de grandes modelos para lidar com diversas necessidades interativas. capacidades de tempo para se adaptar a uma gama mais ampla de campos verticais; finalmente, continuar a inovar e melhorar as aplicações de IA com base em grandes modelos e otimizar e reconstruir continuamente modelos de interação. A consecução destes objetivos irá melhorar significativamente o envolvimento dos utilizadores, mantendo a nossa plataforma na vanguarda da experiência interativa.
Uma série de desafios importantes e pontos problemáticos surgiram gradualmente durante a implementação destas estratégias. O primeiro é o problema da dispersão de dados: vários tipos de dados de recursos estão espalhados em diferentes filas de mensagens, o que complica a integração de dados e leva à duplicação arquitetônica. Em segundo lugar, o actual processo de avaliação do Prompt depende demasiado da participação manual, o que não só reduz a eficiência do trabalho, mas também atrasa a velocidade da actualização e implementação do Prompt. Além disso, a falta de um mecanismo de volante de dados eficaz torna difícil obter feedback de dados abrangente e claro, restringindo assim a avaliação precisa do desempenho do conteúdo de saída do modelo e a rápida tomada de decisão iterativa. Finalmente, muitos requisitos de aplicativos grandes baseados em modelos são altamente consistentes no fluxo de processamento, mas exigem que vários conjuntos de códigos sejam escritos separadamente, resultando em desperdício de recursos e tempo.
Para enfrentar esses desafios, propomos construir uma plataforma prática de desenvolvimento de aplicativos de grande modelo. Esta plataforma foi projetada para simplificar a integração de dados, avaliar rapidamente e modelar o processo de iteração de aplicativos de IA e melhorar a eficiência geral e a produção, eliminando duplicações desnecessárias e operações redundantes. A plataforma fornece suporte de dados mais preciso para aplicações de IA, gerenciando e analisando centralmente os dados gerados pela IA, tornando o processo de geração imediata mais otimizado. Isso não apenas acelera a velocidade de iteração dos aplicativos de IA, mas também fornece uma base sólida para otimização contínua de modelos. Através desta plataforma, esperamos alcançar uma implementação eficiente e confiável da tecnologia de IA, ao mesmo tempo que fornecemos uma experiência interativa de IA de alta qualidade.
02 Conhecimento básico
2.1 Engenharia imediata
Embora alguns modelos grandes (como GPT, Wenxinyiyan) tenham recursos poderosos de compreensão e geração de linguagem, eles geralmente carecem de otimização direta para tarefas específicas. Neste momento, muitas vezes é necessário otimizar a saída do modelo grande por meio do Prompt Engineering. A engenharia de dicas pode ajudar o modelo a compreender melhor os requisitos de uma tarefa específica, melhorar o desempenho do modelo nessa tarefa, ao mesmo tempo que economiza tempo e recursos e melhora a experiência do usuário.
2.2 Avisar o ciclo de vida do projeto
Tal como o ciclo de I&D tradicional, o projecto imediato também tem o seu próprio ciclo de vida.O ciclo de vida do projecto imediato é geralmente dividido nas seguintes etapas.
Análise de requisitos : determine as tarefas e metas específicas que o modelo precisa concluir, bem como os padrões de saída esperados.
Coleta e pré-processamento de dados : Colete dados relacionados à tarefa e execute a limpeza e o pré-processamento necessários.
Design do prompt inicial : Defina o prompt inicial de acordo com os requisitos. Geralmente, palavras-chave de prompt, resultados esperados, etc. são determinados com base em tarefas específicas.
Teste e avaliação : Use os prompts projetados para testar o modelo e avaliar sua qualidade de saída.
Otimização do prompt : com base nos resultados do teste, otimize iterativamente o Prompt para melhorar a precisão e a relevância da saída.
Integração e implantação : integre o prompt otimizado em aplicativos reais.
Monitoramento e ajuste contínuos : monitore continuamente o desempenho do modelo em aplicações reais e faça ajustes com base no feedback.
Em circunstâncias normais, a avaliação e otimização do Prompt é um processo de ciclo contínuo. Ele não será integrado e implantado até que o desempenho do Prompt atenda às expectativas. Após a implantação, os dados gerados pelo ambiente de produção também precisam ser monitorados em tempo hábil para maior desenvolvimento, ajustes e otimizações.
△Agilizar o ciclo de vida do projeto
03 Plataforma prática de desenvolvimento de aplicativos de modelo grande
3.1 Introdução à Plataforma
Para resolver os pontos problemáticos mencionados acima, construímos uma plataforma prática de desenvolvimento de aplicativos de grande modelo, especialmente projetada para aplicativos interativos de IA e tem como objetivo gerenciar e otimizar uniformemente o conteúdo interativo gerado com base nas informações dos recursos. A plataforma realiza acesso unificado a fluxos de dados e invocação centralizada de grandes modelos de linguagem, simplificando enormemente o processo de geração e processamento de conteúdo. A plataforma possui atualmente seis recursos principais e sua arquitetura geral é mostrada na figura abaixo.
Avaliação imediata : Suporta avaliação precisa com base no tipo de recurso, como avaliação especial para recursos de alto perfil. Através da tecnologia de amostragem de dados online, a precisão e a confiabilidade dos resultados da avaliação são garantidas.
Hospedagem Prompt : Fornece serviços completos de gerenciamento de Prompt, incluindo Prompt online e hospedagem, garantindo o gerenciamento e aplicação eficazes do Prompt.
Seleção de recursos : oferece suporte à seleção gratuita de aplicativos interativos de IA e acesso com um clique a vários recursos, fornecendo opções flexíveis de configuração de recursos para diferentes tipos de aplicativos interativos de IA.
Troca de modelo : A plataforma fornece função de troca de um clique para o grande modelo subjacente no nível do aplicativo. Os aplicativos podem alternar com flexibilidade o modelo subjacente em ambientes de baixo tráfego e tráfego total, de acordo com as necessidades.
Controle de tráfego : Com base nas necessidades de cada aplicativo de IA interativo para grandes recursos de modelo, é implementado um controle de tráfego refinado em nível de aplicativo.
Volante de dados : suporta o salvamento das informações contextuais da solicitação e colabora com a equipe de dados para criar um volante de dados em nível de aplicativo para ajudar na velocidade do desenvolvimento de aplicativos de IA.
3.2 Avaliação e liberação imediata
3.2.1 Avaliação imediata
O lançamento da plataforma prática de desenvolvimento de aplicativos de grande modelo melhorou muito a velocidade e a eficiência da avaliação do Prompt, convertendo o complicado processo que originalmente dependia de operações manuais em um processo automatizado eficiente. Os usuários só precisam propor o Prompt, selecionar certas condições de avaliação e aguardar. pelos resultados. . Através do fluxograma de avaliação Prompt a seguir, podemos facilmente perceber que as principais vantagens desta plataforma na avaliação Prompt incluem:
1. Seleção e processamento eficiente de dados : os usuários podem selecionar diretamente tipos específicos de dados de recursos, como recursos importantes, para avaliação na plataforma. A plataforma extrai automaticamente os dados correspondentes a esses recursos e monta rapidamente prompts com base nos requisitos de configuração do usuário. Isto não só melhora a velocidade do processamento de dados, mas também garante a aleatoriedade e a precisão da avaliação.
2. Capacidade de avaliar vários modelos ao mesmo tempo : A plataforma suporta a seleção simultânea de vários conjuntos de modelos para avaliação, o que permite aos usuários comparar o desempenho de diferentes modelos e garantir a confiabilidade e objetividade dos resultados da avaliação. Este método controla eficazmente variáveis irrelevantes e torna os resultados da avaliação mais precisos e credíveis.
3. Otimização geral do processo de avaliação : A plataforma armazena persistentemente o conteúdo gerado pela avaliação na tabela de resultados, garantindo a integridade e rastreabilidade dos dados. Esta otimização não só melhora a eficiência do processo de avaliação, mas também aumenta a estabilidade e a confiabilidade dos resultados da avaliação.
△ Processo de avaliação imediato
3.2.2 O prompt fica online
A plataforma de prática de desenvolvimento de aplicativos de grande modelo fornece serviços completos de gerenciamento de Prompt, incluindo Prompt online e hospedagem, garantindo o gerenciamento e aplicação eficazes do Prompt. Conforme mostrado no fluxograma, assim que a avaliação do Prompt for concluída e atender aos padrões predeterminados, as etapas a seguir serão executadas automaticamente para garantir o lançamento imediato e contínuo do Prompt:
1. Iniciar o processo automatizado : Quando a satisfação da avaliação atinge o limite definido, e após a confirmação manual, o processo online é acionado automaticamente.
2. Inspeção pré-lançamento : O sistema realiza a inspeção final, incluindo, mas não se limitando à precisão, aplicabilidade e conformidade do conteúdo de saída do modelo.
3. Teste de desvio : teste seletivamente o Prompt entre pequenos grupos de usuários de tráfego para avaliar seu efeito real e garantir que seu desempenho atenda às expectativas.
4. Implantação de tráfego total : assim que o teste de descarregamento mostrar que o Prompt funciona bem, o sistema irá implantá-lo no ambiente de tráfego total.
5. Monitoramento de desempenho : Após o Prompt ficar online, a plataforma continuará monitorando seu desempenho para garantir sua estabilidade e eficiência.
Neste ponto, nossa plataforma concluiu uma cobertura eficiente de todo o processo de avaliação e lançamento imediato.
△ Fluxograma on-line de avaliação imediata
3.2.3 Abra QEP (Plataforma de Avaliação de Qualidade)
Embora as ferramentas automatizadas tenham alcançado resultados notáveis na melhoria da eficiência e na redução dos custos trabalhistas, a avaliação da qualidade do Prompt ainda depende da revisão manual. Esse processo não é apenas demorado, mas também facilmente afetado por julgamentos subjetivos, limitando a velocidade e a escala da iteração do Prompt. Além disso, com o crescente crescimento e complexidade das aplicações interactivas de IA, os requisitos para mecanismos de avaliação também aumentaram.Os métodos tradicionais de avaliação manual já não são capazes de satisfazer as necessidades de rápido desenvolvimento de aplicações modernas de IA em grande escala.
Para solucionar esses desafios e melhorar ainda mais a automatização da avaliação imediata, decidimos nos conectar à plataforma QEP. A plataforma QEP pode usar recursos avançados de modelos grandes para avaliar e pontuar automaticamente os efeitos dos Prompts, liberando bastante recursos humanos e permitindo que a equipe de desenvolvimento se concentre em trabalhos criativos de maior valor. Ao integrar as ferramentas de avaliação automatizada do QEP, nossa plataforma prática de desenvolvimento de aplicativos de grandes modelos será capaz de iterar prompts com mais precisão e rapidez, garantindo ao mesmo tempo que cada prompt lançado atenda a altos padrões de qualidade. Isso não apenas acelera o ciclo de otimização do Prompt, mas também proporciona aos usuários uma experiência interativa mais rica e precisa.
△ Panorama on-line do teste de prompt de plataforma
Através da integração do QEP, as capacidades da plataforma foram melhoradas em todos os aspectos, alcançando assim uma cobertura abrangente e otimização de cada link do ciclo de vida do Prompt. Ele melhora a eficiência da geração automática e otimização de prompts, acelera o desenvolvimento geral de aplicativos interativos de IA e fornece aos usuários uma experiência interativa de alta qualidade.
3.3 Construindo um volante de dados
A plataforma implementou todo o processo de avaliação e lançamento do Prompt, mas ainda falta feedback direto sobre o real desempenho online do Prompt e aceitação do usuário. Para suprir esta lacuna de informação, propomos a construção de um volante de dados, visando obter e analisar rapidamente as reações dos usuários a materiais interativos produzidos por grandes modelos. Esta etapa é crucial para continuar a melhorar a qualidade e os efeitos interativos do Prompt.
3.3.1 Base de dados do volante
A análise de dados é o elo mais importante na construção de um volante. Como a grande camada de acesso ao modelo para todos os aplicativos interativos de IA, a plataforma naturalmente tem vantagens no nível dos dados. Construir uma análise de dados do volante baseada na plataforma envolve principalmente as seguintes etapas.
1. Captura de dados interativos : Como um centro para todos os aplicativos interativos de IA interagirem com grandes modelos, a plataforma captura todas as informações materiais produzidas por grandes modelos. Isso inclui indicadores-chave como volume de interação e volume de impressões, fornecendo dados brutos para análise posterior.
2. Armazenamento e integração de dados : Ao combinar essas informações com o sistema de armazenamento de dados, podemos rastrear com precisão o desempenho de cada aplicativo interativo de IA. Esses dados são consolidados em uma visão abrangente que facilita análises aprofundadas e extração de insights.
3. Volante de nível de prompt refinado : suporta um volante de dados de nível de prompt mais detalhado, permitindo que as partes comerciais visualizem os efeitos e o feedback do usuário no nível de prompt. Essa perspectiva granular torna o processo de otimização mais direcionado.
4. Mecanismo de alarme e ciclo de feedback : Quando a receita online obtida a partir das informações relevantes geradas por um determinado prompt é inferior ao esperado ou à média, o mecanismo de alarme automático é acionado para notificar o lado comercial sobre possíveis problemas. Esse mecanismo garante que prompts ineficientes sejam descobertos e corrigidos em tempo hábil.
5. Análise e preservação de dados : análise de formato e preservação dos principais dados de interação diária como dados básicos para ajuste fino de grandes modelos. Esses dados serão usados diretamente para otimizar a precisão e a capacidade de resposta do modelo.
△ Fluxograma de análise de dados da plataforma
Com base no exposto, produzimos três dados importantes:
1. Relatórios e análises diárias : Produza relatórios de negócios diários, forneça monitoramento contínuo de dados e análise de negócios e forneça suporte para a tomada de decisões.
2. Alarmes e processamento de problemas : Alarmes e relatórios abaixo do esperado apontarão prontamente quais prompts precisam de atenção e otimização para garantir a eficiência do negócio.
3. Preparação de dados de ajuste fino : Use os dados principais como a principal entrada para o ajuste fino de grandes modelos e melhore continuamente o modelo para se adaptar às mudanças no comportamento do usuário e nas tendências do mercado.
Desta forma, o volante de dados da plataforma não só se torna uma ferramenta poderosa para otimizar prompts, mas também se torna um elo fundamental para melhorar o desempenho de todo o sistema interativo de IA. Esta abordagem abrangente baseada em dados garante que a geração de prompts não seja apenas baseada em teoria e previsão, mas também reflita e se adapte ao feedback real do usuário e à dinâmica do mercado em tempo real.
3.3.2 Vista panorâmica do volante
A saída de dados da plataforma é o último alicerce do nosso volante. Neste ponto, incluímos três partes principais que dependem umas das outras e trabalham juntas: geração de dados reais no ambiente de produção, análise de dados na plataforma e Prompt iterativamente. volante otimizado. formando. A seguir estão alguns de seus principais links.
Coleta de dados em tempo real : os prompts implantados em ambientes de produção geram continuamente dados que refletem as interações e o feedback do usuário. Esses dados em tempo real são capturados e analisados por meio da plataforma, fornecendo informações valiosas para otimização imediata subsequente.
Ciclo de otimização contínua : Com base nos resultados dessas análises, ajustamos continuamente o conteúdo e as estratégias do Prompt para melhor atender às necessidades do usuário e melhorar a eficiência da interação. Este processo iterativo garante que o Prompt possa se adaptar às mudanças no comportamento do usuário e às tendências do mercado. Avaliação e lançamento
Avaliação e lançamento : Após avaliação pela plataforma, o prompt otimizado é rapidamente enviado para o ambiente de produção. Aqui, eles continuam a gerar dados, enriquecendo ainda mais as fontes de dados do Flywheel.
Fluxo de dados em circuito fechado : os dados gerados no ambiente de produção são capturados e analisados novamente pela plataforma, formando um fluxo de dados em circuito fechado que se auto-reforça. Este processo não só melhora o imediatismo e a relevância dos Prompts, mas também garante que os processos de geração e iteração dos Prompts estejam intimamente sincronizados com o feedback do usuário e a dinâmica do mercado.
Por meio do volante de dados, implementamos a otimização de prompts baseada em dados para garantir que cada prompt seja gerado com base nos dados mais recentes do mercado e do usuário. Esta abordagem abrangente baseada em dados não só aumenta a praticidade e atratividade do Prompt, mas também melhora o desempenho e a eficiência de todo o sistema interativo de IA, proporcionando aos usuários uma experiência interativa mais personalizada e envolvente.
04 Cenários de aplicação da plataforma
Por meio de pesquisas, descobrimos que nas principais plataformas de conteúdo também descobrimos que um grande número de usuários interage com "personagens virtuais" na área de comentários. Por exemplo, a conta Mixue Bingcheng apareceu na área de comentários, causando um grande número de interações entre os usuários. Portanto, levantamos a hipótese de que poderíamos incorporar funções de IA relevantes na área de comentários e usar os recursos de raciocínio do modelo grande e as informações de conteúdo do próprio recurso para permitir que o modelo grande desempenhasse uma determinada função e interagisse na área de comentários de o recurso. Aumente a "motivação do entretenimento" e aproveite os usuários para quebrar o gelo, estimular totalmente o comportamento interativo e fornecer aos usuários satisfação com valor emocional.
4.1 Avaliação imediata e otimização de personagens de IA
Antes do lançamento da plataforma, o rápido processo de avaliação e otimização dos personagens de IA era ineficiente e cheio de desafios. Esse processo tradicional exige que a equipe execute manualmente um grande número de operações e múltiplas iterações após a análise dos dados, o que geralmente leva semanas ou meses, atrasando a implantação do aplicativo de funções de IA. Ao construir em nossa plataforma, revolucionamos isso. Suas ferramentas de automação integradas e recursos eficientes de processamento de dados melhoraram muito a velocidade de avaliação e otimização, reduzindo-a de semanas para apenas alguns dias. Esse salto na eficiência significa que os personagens de IA podem se envolver rapidamente em interações nas redes sociais, acelerando bastante o processo geral de implantação. Além disso, a função de operação com um clique da plataforma simplifica ainda mais o processo de promoção e aplicação de personagens de IA otimizados, evitando o complicado processo de redesenvolvimento e lançamento. Em geral, a plataforma não apenas acelera significativamente a otimização imediata dos personagens de IA, mas também melhora a eficiência e flexibilidade geral da implantação, trazendo uma experiência de aplicação de IA mais rápida e suave para interações de mídia social.
4.2 Problemas e soluções encontrados na construção do personagem AI Prompt
Embora a plataforma tenha melhorado a eficiência, as seguintes dificuldades durante o processo de construção do Prompt ainda retardam a geração de Prompts de caracteres de IA.
-
Erros complexos de compreensão de contexto: Durante a construção do Prompt, encontramos o desafio de compreender termos emergentes da Internet e memes humorísticos com origens culturais específicas. Apesar das poderosas capacidades de processamento de linguagem dos grandes modelos de linguagem, eles ainda mostram dificuldade em compreender estes contextos complexos. Para resolver este problema, implementamos uma estratégia meticulosa de anotação de dados, realizamos anotações contextuais detalhadas sobre esses conteúdos difíceis no conjunto de dados e atribuímos-lhes rótulos emocionais precisos para garantir que o modelo possa compreendê-los e aplicá-los no contexto correto. expressões específicas. Ao mesmo tempo, criamos prompts que contêm descrições explicativas claras, projetados para ajudar o modelo a compreender a intenção do usuário com mais precisão e gerar respostas adequadas. Com essas melhorias, os modelos agora são mais capazes de compreender e responder a gírias culturalmente específicas da Internet e memes humorísticos.
-
One Sample Shot: Inicialmente tentamos o método Few-Shot Learning, na esperança de orientar a compreensão e geração do modelo, fornecendo um pequeno número de amostras selecionadas. No entanto, descobrimos que quando há demasiados exemplos, o modelo ajusta-se facilmente a estes exemplos específicos e não consegue generalizar para situações novas e não vistas. Além disso, o processamento de um grande número de amostras Few-Shot também aumenta a carga computacional e reduz a eficiência da resposta. No experimento Zero-Shot Learning, descobrimos que o modelo às vezes não consegue compreender com precisão a semântica de termos complexos da Internet e memes culturais, especialmente quando esses memes envolvem componentes emocionais ou irônicos sutis. Além disso, a falta de exemplos concretos resulta na falta de relevância contextual do modelo na geração de respostas. Tendo em vista as limitações do método acima, finalmente adotamos a estratégia One-Sample Shot. Fornecemos uma amostra cuidadosamente selecionada para cada prompt, que é representativa o suficiente para cobrir a semântica e as emoções em um contexto específico. Este exemplo simples ajuda o modelo a estabelecer uma compreensão básica de um termo ou meme específico da Internet. Por exemplo, para um meme popular da Internet, não fornecemos apenas uma amostra do meme em si, mas também incluímos uma descrição de sua origem, cenários de uso e reações esperadas. Esses exemplos únicos, mas informativos, permitem que o modelo compreenda e se adapte melhor a novas frases e memes sem depender excessivamente de um grande número de exemplos. Através do One-Sample Shot, equilibramos com sucesso as capacidades de generalização do modelo e as necessidades de respostas personalizadas, permitindo que personagens de IA interajam com mais precisão com os usuários, garantindo ao mesmo tempo o uso eficiente dos recursos computacionais.
4.3 Efeitos de personagens de IA
Depois que os personagens de IA foram lançados na área de comentários, a disposição dos usuários em participar e a atividade na área de comentários aumentaram significativamente, aumentando efetivamente a atmosfera de comentários. Os comentários sobre o personagem AI também foram apreciados por muitos internautas, que gostaram e responderam um após o outro. Abaixo estão várias fotos mostrando os efeitos dos personagens de IA.
05 Resumo e Perspectivas
Ao construir uma plataforma prática de desenvolvimento de aplicativos de grande modelo, implementamos com sucesso todo o processo de avaliação, lançamento e monitoramento e ajuste contínuos do Prompt, acelerando significativamente a velocidade de iteração de aplicativos interativos de IA. Mas, ao mesmo tempo, também enfrentamos novos desafios: a complexidade e a diversificação dos cenários de negócios interativos fazem com que a produção de conteúdos por grandes modelos nem sempre atenda plenamente às necessidades de cenários específicos. Para resolver este problema, planejamos introduzir tecnologias de ajuste fino mais avançadas, como o Supervised Fine-Tuning (SFT) e o Reinforcement Learning from Human Feedback (RLHF). Estas tecnologias permitirão uma personalização e otimização mais profundas de grandes modelos, garantindo que os resultados do modelo sejam mais adequados a cenários de interação complexos.
--FIM--
Leitura recomendada
Descobrindo o mistério do ciclo de eventos
Reconstrução do serviço de exibição de pesquisa Baidu: progresso e otimização
Prática de otimização do pacote Baidu APP iOS tamanho 50M (7) Otimização do compilador
Sistema de armazenamento de tabela HTAP de conteúdo de pesquisa Baidu
O autor de um conhecido projeto de código aberto perdeu o emprego devido à mania - "Buscando dinheiro online" No Star, No Fix 2023 As dez maiores conquistas de engenharia do mundo são lançadas: ChatGPT, Sistema Operacional Hongmeng, Estação Espacial China e outros ByteDance selecionados foram "banidos" pela OpenAI. Google anuncia a extensão mais popular do Chrome em 2023 Acadêmico Ni Guangnan: Espero que o SSD doméstico substitua o HDD importado para desbloquear o celular Xiaomi BL? Primeiro, faça uma pergunta de entrevista para um programador Java. Arm demitiu mais de 70 engenheiros chineses e planeja reorganizar seu negócio de software chinês. OpenKylin 2.0 revela | UKUI 4.10 design de diamante duplo, bonito e de alta qualidade! Manjaro 23.1 lançado, codinome “Vulcan”