No subfórum da Bund Conference de hoje, o Ant Group abriu oficialmente seu grande modelo de código CodeFuse.
Segundo relatos, este é um grande modelo exclusivo de geração de código desenvolvido pela Ant, que pode fornecer sugestões inteligentes e suporte em tempo real com base na entrada dos desenvolvedores, ajudando os desenvolvedores a gerar código automaticamente, adicionar comentários automaticamente, gerar casos de teste automaticamente, reparar e otimizar código, etc. para melhorar a eficiência de P&D.
CodeFuse é desenvolvido com base no grande modelo Ant básico e agora está disponível no Hugging Face: https://huggingface.co/codefuse-ai .
O conteúdo deste código aberto inclui:
- Estrutura MFT (Multi-Task Fine-tuning), também conhecida como MFTcoder ;
- Dois conjuntos de dados usados para aprimorar as capacidades de codificação dos LLMs , incluindo Code Exercise e Evol-Instruction ;
- Uma estrutura de implantação mais rápida e confiável baseada em FasterTransformer ;.
A coleção resultante de modelos inclui CodeFuse-13B e CodeFuse-CodeLlama-34B , suportando uma variedade de tarefas relacionadas ao código, como conclusão de código, texto para código, geração de teste de unidade e muito mais.
Vale ressaltar que CodeFuse-CodeLlama-34B é baseado em CodeLlama como modelo básico e usa a estrutura MFT acima para ajuste fino e alcançou uma boa pontuação de 74,4% (decodificação gananciosa) na avaliação HumanEval Python pass@1 , superando até mesmo o desempenho do GPT -4 (67%) .
De acordo com a introdução oficial, a missão do CodeFuse é desenvolver modelos de linguagem de código em larga escala (Code LLMs) especialmente projetados para suportar todo o ciclo de vida de desenvolvimento de software, cobrindo estágios-chave como design, requisitos, codificação, teste, implantação e operação e manutenção.