Falcon 180B: modelos de linguagem de IA de código aberto ultrapassam limites, mas com uma ressalva digna de nota
No mundo acelerado da inteligência artificial, a série Falcon está mais uma vez quebrando barreiras, superando líderes da indústria como Meta e Google com seu mais recente prodígio, o Falcon 180B.
O excelente LLaMA 2 do Meta tem 70 bilhões de parâmetros e agora é eclipsado pelo modelo de linguagem grande Falcon. O modelo de linguagem grande Falcon tem 180 bilhões de parâmetros e foi treinado com uma quantidade de dados sem precedentes, marcando um novo pico no campo da inteligência artificial .
Face Hugging revela marco de grande mudança
A comunidade Hugging Face AI anunciou este lançamento marcante em seu blog, anunciando que o Falcon 180B está disponível no Hugging Face Hub. O mais novo membro da família Falcon traz recursos inovadores, como atenção multiconsulta, aprimorando sua capacidade de gerenciar 180 bilhões de parâmetros treinados em 3,5 trilhões de tokens.
O salto em escala e desempenho é preocupante
Esta versão representa o ciclo único mais longo de pré-treinamento na história do modelo de código aberto, um marco alcançado com quase 7 milhões de horas de GPU executadas simultaneamente em 4.096 GPUs, impulsionadas pelo Amazon SageMaker.
Porém, deve ser enfatizado que esta versão traz uma grande mudança – a remoção da licença Apache 2.0. Esta mudança poderia limitar a natureza de código aberto do modelo, criando deficiências significativas no progresso.
Medindo padrões de excelência por meio de reservas
O Falcon 180B demonstrou capacidades extraordinárias, alcançando altas pontuações em tabelas de classificação de modelos abertos e apresentando desempenho quase igual ao de gigantes comerciais como o PaLM-2 do Google em várias avaliações de benchmark.
No entanto, o cancelamento da licença Apache 2.0 lança uma sombra de incerteza, levantando questões sobre o potencial para colaboração futura e o espírito de código aberto que é a pedra angular do desenvolvimento da tecnologia de inteligência artificial.