Em 30 de outubro, Kunlun Wanwei anunciou o código aberto do modelo de linguagem grande de dezenas de bilhões de dólares da série Skywork-13B "Tiangong" e o código aberto raro de um grande conjunto de dados chineses de código aberto de alta qualidade de tokens de 600 GB e 150 B.
A série "Tiangong" Skywork-13B de Kunlun Wanwei inclui atualmente dois modelos principais com 13 bilhões de parâmetros : modelo Skywork-13B-Base e modelo Skywork-13B-Math . Eles tiveram um bom desempenho em muitas avaliações oficiais e testes de benchmark, como CEVAL e GSM8K. Ele mostra o melhor efeito de modelos da mesma escala , e sua capacidade chinesa é particularmente notável.Seu desempenho em tecnologia, finanças, assuntos governamentais e outros campos chineses é superior a outros modelos de código aberto.
Endereço de download Skywork-13B (escopo do modelo): https://modelscope.cn/organization/skywork
Endereço de download do Skywork-13B (Github): https://github.com/SkyworkAI/Skywork
Além dos modelos de código aberto, a série Skywork-13B de modelos grandes também abrirá o código-fonte do conjunto de dados de corpus chinês de alta qualidade Skypile/Chinese-Web-Text-150B com tokens de 600 GB e 150B, que é atualmente um dos maiores abertos conjuntos de dados chineses de origem.
Ao mesmo tempo, a série de modelos grandes "Tiangong" Skywork-13B de Kunlun Wanwei em breve estará totalmente aberta para uso comercial - os desenvolvedores não precisam se inscrever para uso comercial.
13 bilhões de parâmetros, dois modelos principais, um dos maiores conjuntos de dados chineses, totalmente aberto para uso comercial. A série de grandes modelos "Tiangong" Skywork-13B de Kunlun Wanwei pode ser chamada de modelo comercial de alta qualidade de código aberto mais completo do setor, no valor de dezenas de bilhões.
O código aberto dos grandes modelos da série Skywork-13B fornecerá o melhor suporte técnico para a aplicação de cena de grandes modelos e o desenvolvimento de comunidades de código aberto, reduzirá o limite comercial de grandes modelos e promoverá a implementação de tecnologia de inteligência artificial em milhares de indústrias , contribua para a construção da ecologia da inteligência artificial e dê as mãos à comunidade de código aberto Explore o mundo desconhecido e crie um futuro melhor.
Dois grandes modelos liderando a indústria
A série Skywork-13B "Tiangong" de Kunlun Wanwei inclui dois modelos principais e um conjunto de dados chineses de alta qualidade 150B.
- O modelo Skywork-13B-Base é o modelo básico do Skywork-13B. Ele foi treinado com 3,2 trilhões de dados multilíngues de alta qualidade. Ele demonstrou o melhor desempenho de modelos do mesmo tamanho em CEVAL, CMMLU, MMLU, GSM8K e outros testes de avaliação e benchmark.
- O modelo Skywork-13B-Math passou por treinamento especializado aprimorado em habilidades matemáticas e alcançou os melhores resultados de modelos do mesmo tamanho em conjuntos de dados como GSM8K.
- Conjunto de dados Skypile/Chinese-Web-Text-150B . Este conjunto de dados consiste em dados de alta qualidade filtrados de páginas da web chinesas de acordo com nosso processo de processamento de dados cuidadosamente filtrado. O tamanho do conjunto de dados de código aberto desta vez é de cerca de 600 GB e o número total de tokens é de cerca de 150 B. Atualmente é um dos maiores conjuntos de dados chineses de código aberto.
Além disso, a série Skywork-13B também divulga os métodos de avaliação utilizados no modelo, pesquisa de proporção de dados e soluções de ajuste de infraestrutura de treinamento. Espera-se que estes conteúdos de código aberto possam inspirar ainda mais a compreensão da comunidade sobre o pré-treinamento de modelos em grande escala e promover a realização da inteligência artificial geral (AGI).
Cinco características da transcendência abrangente
A série de modelos grandes "Tiangong" Skywork-13B de Kunlun Wanwei demonstrou os melhores resultados de modelos do mesmo tamanho em muitas avaliações oficiais e testes de benchmark, como CEVAL e GSM8K. Sua capacidade chinesa é particularmente notável e é amplamente utilizada em chinês tecnologia, finanças e assuntos governamentais.O desempenho em outras áreas é superior ao de outros modelos de código aberto.
Cinco características principais dos modelos da série Skywork-13B:
- Desempenho de parâmetro mais forte: superando de forma abrangente modelos grandes do mesmo tamanho
Este modelo da série Skywork-13B de código aberto supera de forma abrangente grandes modelos de código aberto, como LLaMA2-13B, em vários benchmarks de avaliação confiáveis, como CEVAL, CMMLU, MMLU, GSM8K, etc., e alcança os melhores resultados entre grandes modelos da mesma escala. (Dados de 25 de outubro)
- Máximo de dados de treinamento: dados de treinamento multilíngue de alta qualidade de 3,2T
Os grandes modelos da série Skywork-13B possuem 13 bilhões de parâmetros e 3,2 trilhões de dados de treinamento multilíngue de alta qualidade. A capacidade de geração de modelos, a capacidade criativa e a capacidade de raciocínio matemático foram significativamente melhoradas.
- A mais forte capacidade de modelagem em língua chinesa: avaliação de perplexidade de modelagem em língua chinesa, superando todos os modelos chineses de código aberto
Os grandes modelos da série Skywork-13B apresentam bom desempenho em capacidades de modelagem no idioma chinês e possuem excelentes capacidades criativas culturais chinesas. Na avaliação no campo da criação de texto chinês, os grandes modelos da série Skywork-13B demonstraram capacidades excepcionais, especialmente em áreas como tecnologia, finanças, assuntos governamentais, serviços corporativos, criação cultural, jogos, etc., que tiveram desempenho superior. do que outros modelos de código aberto na indústria.
- Um dos maiores conjuntos de dados de código aberto chineses: corpus chinês de alta qualidade de 150 bilhões de tokens
A série Skywork-13B será equipada com o conjunto de dados de corpus chinês de alta qualidade Skypile/Chinese-Web-Text-150B de código aberto de 600 GB e 150 B Tokens, que é atualmente um dos maiores conjuntos de dados chineses de código aberto. Os desenvolvedores podem aproveitar ao máximo o processo de pré-treinamento de modelos grandes e a experiência no relatório técnico, personalizar profundamente os parâmetros do modelo e realizar treinamento e otimização direcionados.
- O uso comercial de código aberto mais sincero: não há necessidade de inscrição, você pode obter uso comercial
Atualmente, a maioria dos grandes modelos chineses na comunidade de código aberto não estão totalmente disponíveis comercialmente. Geralmente, os usuários da comunidade de código aberto geralmente precisam passar por um processo complexo de solicitação de autorização comercial. Em alguns casos, existem até regulamentos claros sobre tamanho da empresa, indústria, número de usuários e outras dimensões. Nenhuma licença comercial concedida.
Kunlun Wanwei atribui grande importância à abertura e comercialização do código aberto da série Skywork-13B, simplificando o processo de autorização e removendo restrições à indústria, tamanho da empresa, usuários, etc., com o objetivo de ajudar mais pessoas familiarizadas com Grandes modelos chineses Os usuários e empresas interessados continuam a explorar e progredir na indústria.
Desta vez, a série Skywork-13B de modelos grandes será totalmente licenciada para uso comercial.Depois que os usuários baixarem o modelo e concordarem e cumprirem o "Contrato de Licença Comunitária do Modelo Skywork", eles poderão usar o modelo grande para fins comerciais sem aplicar para autorização novamente. Espera-se que os usuários possam explorar de forma mais conveniente as capacidades técnicas dos grandes modelos da série Skywork-13B e explorar aplicações comerciais em diferentes cenários.
Promover a prosperidade do ecossistema de código aberto, permitir que mais desenvolvedores participem no desenvolvimento tecnológico da AIGC e promover a melhoria tecnológica através da cocriação e partilha.
Na era da IA, a construção de um ecossistema de código aberto em expansão é uma parte importante da construção da integração da IA e das aplicações. Reduzir o limiar de investigação e desenvolvimento e os custos de utilização do modelo, maximizar a partilha de capacidades técnicas e de experiência e permitir que mais empresas e programadores participem nesta mudança tecnológica liderada pela IA. O presidente e CEO da Kunlun Wanwei, Fang Han, é o primeiro veterano de código aberto a participar da construção do ecossistema de código aberto e também um dos primeiros promotores do código aberto Linux chinês. O espírito do código aberto e o desenvolvimento da tecnologia AIGC irão estar perfeitamente integrado na estratégia da Kunlun Wanwei.
Tudo em AGI与AIGC
Tudo em AGI e AIGC são estratégias de Kunlun Wanwei.
Em 17 de abril, Kunlun Wanwei lançou o primeiro modelo de linguagem doméstica em grande escala da China que realmente concretiza o surgimento da inteligência - "Tiangong 3.5" e lançou testes de convite.
Em 19 de maio, o Departamento Municipal de Economia e Tecnologia da Informação de Pequim anunciou o primeiro lote da "Lista de Membros do Programa de Parceria de Inovação da Indústria de Inteligência Artificial Geral de Pequim". Kunlun Wanwei tornou-se o primeiro lote de parceiros modelo e parceiros de investimento com seu layout de exploração e investimento de ponta no campo AIGC.
Em 23 de agosto, Kunlun Wanwei lançou o Tiangong AI Search, o primeiro produto de pesquisa de IA da China.
Em 1º de setembro, o professor Yan Shuicheng, um dos maiores especialistas internacionais na área de visão computacional e aprendizado de máquina, ingressou oficialmente na Kunlun Technology.Juntamente com o fundador da Kunlun Technology, Zhou Yahui, atuou como co-CEO da Tiangong Intelligence e, ao mesmo tempo, atuou como diretor do Instituto de Pesquisa Global Kunlun Technology 2050. Responsável por pesquisas em tecnologias de ponta.
Em 5 de setembro, o modelo grande Kunlun Wanwei Tiangong ficou em primeiro lugar na pontuação abrangente na avaliação do modelo multimodal de linguagem grande conduzida pelo Tencent Youtu Lab e pela Universidade de Xiamen.
Em 25 de setembro, Kunlun Wanwei assumiu oficialmente o controle do Aijie Core e distribuiu chips de IA.
Hoje, o código aberto da série Skywork-13B de modelos grandes marca a determinação de Kunlun Wanwei em continuar investindo no ecossistema AGI.
Introdução ao Grupo Kunlun Wanwei
Kunlun Wanwei foi fundada em 2008 e listada na Bolsa de Valores de Shenzhen em 2015. De jogos a AII, AGI e AIGC, construímos de forma abrangente um ecossistema de negócios diversificado. Com mais de dez anos de desenvolvimento, sempre estivemos comprometidos em fornecer soluções líderes Serviços de Internet para usuários globais, produtos e serviços. Hoje, Kunlun Wanwei ainda está explorando as infinitas possibilidades no campo da IA. Atualmente, Kunlun Wanwei construiu gradualmente três grandes segmentos de negócios: AGI e AIGC, distribuição de informações no exterior e metaverso e investimento.Seus negócios cobrem mais de 100 países e regiões ao redor do mundo, e a média global de usuários ativos mensais é de quase 400 milhões. .
Com sua previsão avançada das tendências de desenvolvimento tecnológico, a Kunlun Technology começou a ser implantada no campo AIGC já em 2020. Até agora, acumulou quase três anos de experiência relevante em pesquisa e desenvolvimento de engenharia e estabeleceu capacidades de processamento aprofundadas líderes do setor para dados de pré-treinamento. Kunlun Wanwei também fez grandes avanços no campo da inteligência artificial. Agora está formado Grandes modelos de IA, pesquisa de IA, IA Com seis principais matrizes de negócios de IA: jogos, música de IA, animação de IA e redes sociais de IA, é uma das empresas nacionais com a tecnologia de modelo e capacidades de engenharia mais fortes, o layout mais abrangente e está totalmente comprometida com a construção de comunidades de código aberto.
O Alibaba Cloud sofreu uma falha grave e todos os produtos foram afetados (restaurados). O Tumblr esfriou o sistema operacional russo Aurora OS 5.0. Nova UI revelada Delphi 12 e C++ Builder 12, RAD Studio 12. Muitas empresas de Internet recrutam urgentemente programadores Hongmeng. Hora do UNIX . está prestes a entrar na era de 1,7 bilhão (já entrou). Meituan recruta tropas e planeja desenvolver o aplicativo do sistema Hongmeng. Amazon desenvolve um sistema operacional baseado em Linux para se livrar da dependência do Android do .NET 8 no Linux. O tamanho independente é reduzido em 50%.O FFmpeg 6.1 "Heaviside" é lançado