No restante do curso, você aprenderá as habilidades necessárias para desenvolver e implantar aplicativos orientados a LLM. Neste vídeo, você aprenderá sobre um ciclo de vida de projeto de IA generativo que pode ajudá-lo a fazer exatamente isso. Esta estrutura lista as tarefas necessárias para levar um projeto desde a ideia até o lançamento. Ao final do curso, você deverá ter uma boa intuição sobre as decisões importantes que precisa tomar, as dificuldades que poderá encontrar e a infraestrutura necessária para desenvolver e implantar seu aplicativo. Aqui está um diagrama de todo o ciclo de vida.
Discutiremos isso passo a passo.
A etapa mais importante em qualquer projeto é definir o escopo da forma mais precisa e específica possível.
Como você viu neste curso, os LLMs são capazes de realizar muitas tarefas, mas suas capacidades dependem muito do tamanho e da arquitetura do modelo. Você deve pensar sobre a função do LLM em sua aplicação específica.
Você precisa que seu modelo seja capaz de executar muitas tarefas diferentes, incluindo geração de texto longo ou alta capacidade, 
ou a tarefa é mais específica, como reconhecimento de entidade nomeada, então seu modelo só precisa ser bom em uma coisa.
Como você verá no restante do curso, ser bem claro sobre o que seu modelo precisa fazer pode economizar tempo e, mais importante, custo computacional. Quando estiver satisfeito e tiver identificado requisitos suficientes do modelo, você poderá iniciar o desenvolvimento.
Sua primeira decisão será treinar seu próprio modelo do zero ou usar um modelo base existente. Normalmente, você começará com um modelo existente, embora em alguns casos possa ser necessário treinar um modelo do zero.
Você aprenderá sobre as considerações por trás dessa decisão ainda esta semana, juntamente com algumas regras práticas para ajudá-lo a estimar a viabilidade de treinar seu próprio modelo.
Depois de ter um modelo, a próxima etapa é avaliar seu desempenho e realizar treinamento adicional para atender às necessidades de sua aplicação.
Como você viu no início desta semana, a engenharia de dicas às vezes é suficiente para fazer seu modelo funcionar bem, então você pode tentar primeiro o aprendizado contextual, usando exemplos apropriados para sua tarefa e caso de uso.
No entanto, ainda há casos em que o modelo pode não funcionar tão bem quanto você gostaria, mesmo em uma ou algumas inferências curtas, então você pode tentar ajustar o modelo.
Esse processo de aprendizado supervisionado será abordado em detalhes na semana 2, onde você terá a oportunidade de tentar ajustar um modelo sozinho em um laboratório da semana 2.
À medida que os modelos se tornam mais poderosos, torna-se cada vez mais importante garantir que eles tenham um bom desempenho na implantação e estejam alinhados com as preferências humanas. Na semana 3, você aprenderá uma técnica adicional de ajuste fino chamada “aprendizado por reforço com feedback humano”, que pode ajudar a garantir que seu modelo tenha um bom desempenho.
Um aspecto importante de todas essas técnicas é a avaliação. Na próxima semana, você explorará algumas métricas e benchmarks que podem ser usados para determinar o desempenho de um modelo ou o alinhamento com suas preferências.
Observe que esta fase de adaptação e alinhamento do desenvolvimento de aplicativos pode ser altamente iterativa.
Você pode primeiro tentar solicitar a engenharia e avaliar o resultado,
Em seguida, use o ajuste fino para melhorar o desempenho,
Em seguida, revise e avalie a engenharia de dicas novamente para obter o desempenho desejado.
Por fim, quando você tiver um modelo bem alinhado que atenda às suas necessidades de desempenho, poderá implantá-lo em sua infraestrutura e integrá-lo à sua aplicação.
Uma etapa importante nesta fase é otimizar o modelo para implantação. Isso garante que você aproveite ao máximo seus recursos de computação e forneça a melhor experiência possível aos usuários do seu aplicativo.
Uma última etapa, mas não menos importante, é considerar qualquer outra infraestrutura que seu aplicativo precise para funcionar corretamente.
Os LLMs têm limitações fundamentais que são difíceis de superar apenas com o treinamento, como inventar informações quando não sabem a resposta ou sua capacidade limitada de realizar raciocínios e matemática complexos.
Na parte final do curso, você aprenderá algumas técnicas poderosas que poderá usar para superar essas limitações.
Eu sei que há muito em que pensar aqui, mas não se preocupe em absorver tudo de uma vez agora. Você verá essa arquitetura repetidamente ao longo do curso enquanto explora os detalhes de cada fase.
referência
https://www.coursera.org/learn/generative-ai-with-llms/lecture/21Nwn/generative-ai-project-lifecycle