Documentação de modelo grande de código aberto

Entre os melhores

Apresentamos o Chatbot Arena, uma plataforma de referência para modelos de linguagem grandes (LLMs), que promove batalhas aleatórias e anônimas. Nesta postagem do blog, publicamos nossos resultados preliminares e uma tabela de classificação com base no sistema de classificação Elo, um sistema de classificação amplamente utilizado no xadrez e em outros jogos competitivos. Convidamos toda a comunidade a se juntar a esse esforço, contribuindo com novos modelos e avaliando-os fazendo perguntas e votando em suas respostas favoritas.

1.LLaMA

O projeto LLaMA consiste em um conjunto de modelos de linguagem base que variam em tamanho de 7 bilhões a 65 bilhões de parâmetros. Esses modelos são treinados em milhões de tokens e são treinados inteiramente em conjuntos de dados disponíveis publicamente. Como resultado, o LLaMA-13B supera o GPT-3 (175B), enquanto o LLaMA-65B tem desempenho semelhante aos melhores modelos, como Chinchilla-70B e PaLM-540B.

recurso:

• Trabalho de pesquisa: "LLaMA: Open and Efficient Foundation Language Models (arxiv.org)" [https://arxiv.org/abs/2302.13971]
• GitHub：facebookresearch/llama [https://github.com/facebookresearch/llama]
• Apresentação: Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.chinês-LLaMA-Alpaca

O Large Language Model (LLM) representado por ChatGPT, GPT-4, etc. a indústria. No entanto, devido ao treinamento extremamente caro e implantação de grandes modelos de linguagem, tem causado certos obstáculos para a construção de pesquisas acadêmicas transparentes e abertas.

A fim de promover a pesquisa aberta de grandes modelos na comunidade chinesa de PNL, este projeto abriu o código do modelo chinês LLaMA e do modelo grande Alpaca com instruções ajustadas . Com base no LLaMA original , esses modelos expandem o vocabulário chinês e usam dados chineses para pré-treinamento secundário, o que melhora ainda mais a compreensão semântica básica do chinês. Ao mesmo tempo, o modelo Chinese Alpaca usa ainda mais dados de instruções chinesas para ajuste fino, o que melhora significativamente a capacidade do modelo de entender e executar instruções.

recurso:

• GitHub: https://github.com/ymcui/Chinese-LLaMA-Alpaca

3.Alpaca

A Alpaca de Stanford afirma que pode competir com o ChatGPT e que qualquer um pode replicá-lo por menos de US$ 600. O Alpaca 7B é ajustado a partir do modelo LLaMA 7B em uma demonstração de conformidade com instruções de 52K.

recurso:

• Blogue: Stanford CRFM. [https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]

4.Alpaca-LoRA

Código para reproduzir os resultados da Stanford Alpaca usando Low Rank Adaptation (LoRA)

recurso:

• GitHub: https://github.com/tloen/alpaca-lora
• Demonstração: Alpaca-LoRA [https://huggingface.co/spaces/tloen/alpaca-lora]

5. Vicunha

O Vicuna é ajustado com base no modelo LLaMA no diálogo compartilhado do usuário coletado do ShareGPT. O modelo Vicuna-13B atingiu mais de 90% de qualidade do OpenAI ChatGPT e Google Bard. Ele também supera os modelos LLaMA e Stanford Alpaca em 90% das vezes. Custa cerca de $ 300 para treinar Vicunha.

recurso:

• Postagem do blog: "Vicuna: um chatbot de código aberto que impressiona o GPT-4 com 90%* de qualidade do ChatGPT" [https://vicuna.lmsys.org/]
• GitHub：lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
• Demonstração: FastChat (lmsys.org) [https://chat.lmsys.org/]

6.OpenChatKit

OpenChatKit: Uma alternativa ChatGPT de código aberto, um kit de ferramentas completo para criar chatbots. Ele fornece grandes modelos de linguagem para treinamento de ajuste de instrução dos próprios usuários, modelos de ajuste fino, um sistema de recuperação escalável para atualizar respostas de bot e instruções moderadas por bot para filtrar perguntas.

Pode-se ver que o modelo GPT-NeoXT-Chat-Base-20B supera o modelo básico GPT-NoeX em tarefas de resposta, extração e classificação de perguntas.

recurso:

• Postagem do blog: "Anunciando o OpenChatKit"—TOGETHER [https://www.together.xyz/blog/openchatkit]
• GitHub: togethercomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
• Demonstração: OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• Cartão modelo: togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]

7.GPT4ALL

O GPT4ALL é um projeto voltado para a comunidade e é treinado em um corpus de larga escala de interações auxiliares, incluindo códigos, histórias, descrições e múltiplas rodadas de diálogo. A equipe contribuiu com conjuntos de dados, pesos de modelo, procedimentos de gerenciamento de dados e código de treinamento para facilitar o código aberto. Além disso, eles lançaram uma versão quantizada de 4 bits do modelo que pode ser executada em um laptop. É até possível usar o cliente Python para executar inferência de modelo.

• Relatório técnico: GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
• Demonstração: GPT4All (não oficial). [https://huggingface.co/spaces/rishiraj/GPT4All]
• Cartão do modelo: nomic-ai/gpt4all-lora Cara de abraço [https://huggingface.co/nomic-ai/gpt4all-lora]

8.Raven RWKV

O Raven RWKV 7B é um chatbot de código aberto alimentado pelo modelo de linguagem RWKV que gera resultados semelhantes ao ChatGPT. O modelo usa RNNs, que podem igualar o Transformer em termos de qualidade e escalabilidade, sendo mais rápido e economizando VRAM. Raven foi ajustado em Stanford Alpaca, code-alpaca e mais conjuntos de dados.

recurso:

• GitHub: BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
• Demonstração: Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
• Cartão modelo: BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]

9.OPT

OPT: O modelo de linguagem do Transformer pré-treinado aberto não é tão poderoso quanto o ChatGPT, mas mostra excelentes recursos em aprendizado de zero e poucos tiros e análise de viés de estereótipo. Também é possível integrá-lo com Alpa, Colossal-AI, CTranslate2 e FasterTransformer para melhores resultados. **NOTA:** Ele entrou na lista devido à sua popularidade, pois possui 624.710 downloads mensais na categoria de geração de texto.

recurso:

• Trabalho de pesquisa: "OPT: Open Pre-trained Transformer Language Models (arxiv.org)" [https://arxiv.org/abs/2205.01068]
• GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
• Demonstração: uma marca d'água para LLMs [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• Modelo de cartão: facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]

10.Flan-T5-XXL

Flan-T5-XXL ajusta o modelo T5 em um conjunto de dados expresso na forma de instruções. O ajuste fino das instruções melhora muito o desempenho de várias classes de modelo, como PaLM, T5 e U-PaLM. O modelo Flan-T5-XXL é ajustado em mais de 1000 tarefas adicionais, abrangendo mais idiomas.

recurso:

• Trabalho de pesquisa: "Scaling Instruction-Fine Tuned Language Models" [https://arxiv.org/pdf/2210.11416.pdf]
• GitHub: google-research/t5x [https://github.com/google-research/t5x]
• Demonstração: Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• Cartão do modelo: google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q%3A+%28+False+or+not+False+or+False+%29+is %3F+A%3A+Deixe%27s+pensar+passo+a+passo]

11.MPT-7B

O nome completo do MPT é MosaicML Pretrained Transformer, que é uma série de grandes modelos lançados pelo MosaicML. Embora muitos modelos grandes tenham sido publicados no setor, esses modelos geralmente são difíceis de treinar e implantar. O propósito do MosaicML de liberar um modelo tão grande é resolver as limitações acima e fornecer um modelo grande que seja totalmente de código aberto e disponível comercialmente. As principais características da série MPT são:

1. com licença comercial

2. Treinamento baseado em uma grande quantidade de dados

3. O objetivo é resolver entradas longas (até 65K de entrada, 84K de processamento)

4. Otimização da velocidade de treinamento e inferência

5. Código de treinamento de código aberto eficiente

recurso:

• Link do modelo GitHub https://github.com/mosaicml/llm-foundry

• Link do modelo HuggingFace https://huggingface.co/mosaicml/mpt-7b

• Papel https://www.mosaicml.com/blog/mpt-7b

12. Tsinghua ChatGLM-6B

O ChatGLM-6B é um modelo de linguagem de diálogo bilíngue chinês-inglês de código aberto baseado na arquitetura General Language Model (GLM) com 6,2 bilhões de parâmetros. Combinado com a tecnologia de quantização de modelo, os usuários podem implantar localmente em placas gráficas de consumo (apenas 6 GB de memória de vídeo são necessários no nível de quantização INT4). O ChatGLM-6B usa tecnologia semelhante ao ChatGPT, otimizado para perguntas e respostas em chinês e diálogo. Após cerca de 1T de identificadores de treinamento bilíngue chinês-inglês, complementados por supervisão e ajuste fino, auto-ajuda de feedback, aprendizado de reforço de feedback humano e outras tecnologias, o ChatGLM-6B com 6,2 bilhões de parâmetros foi capaz de gerar respostas bastante alinhadas com as preferências humanas. Para facilitar que os desenvolvedores downstream personalizem o modelo para seus próprios cenários de aplicativos e realizem o método eficiente de ajuste fino de parâmetros (guia de uso) com base no P-Tuning v2, é necessária a memória de vídeo mínima de 7 GB para iniciar o ajuste fino em o nível de quantização INT4.

recurso:

• Link do GitHub https://github.com/THUDM/ChatGLM-6B

13. Fudan MOSS

Segundo relatos, o MOSS é um modelo de linguagem de diálogo de código aberto que oferece suporte bilíngue chinês-inglês e vários plug-ins. Os modelos da série musgo-lua têm 16 bilhões de parâmetros e podem ser executados em uma única placa gráfica A100/A800 ou duas placas gráficas 3090 no FP16 precisão. /8 precisão pode ser executado em uma única placa gráfica 3090 . O modelo de linguagem de pedestal do MOSS é pré-treinado em cerca de 700 bilhões de palavras em chinês, inglês e código. capacidade de usar vários plug-ins.

recurso:

• Link do GitHub https://github.com/OpenLMLab/MOSS

apêndice

Resumo Mínimo de Recursos para Inferência de Treinamento

Modelo	raciocínio	treinamento (ajuste fino)
LLaMA	17G	não pode
Chinês-LLaMA-Alpaca	3,9G
Alpaca	não especificado	112G
Alpaca-LoRA	não especificado	23g
vicunha	14G	160G
OpenChatkit	40G	não especificado
GPT4All	16G	não especificado
Corvo RWKV	15G	não especificado
OPTAR	não especificado	350 GB
Flan-T5-XXL	não especificado	não especificado
MPT-7B	não especificado	não especificado
Tsinghua ChatGLM-6B	7g	96G
Fudan MOOS	7,8G	não especificado

corpus

1. Versão json da Wikipédia (wiki2019zh)

1,04 milhão de entradas (1.043.224 entradas; tamanho do arquivo original 1,6G, arquivo compactado 519M; tempo de atualização de dados: 2019.2.7)

estrutura:

{"id":<id>,"url":<url>,"title":<title>,"text":<text>} 其中，title是词条的标题，text是正文；通过"\n\n"换行。

exemplo:

{"id": "53", "url": "https://zh.wikipedia.org/wiki?curid=53", "title": "经济学", "text": "经济学\n\n经济学是一门对产品和服务的生产、分配以及消费进行研究的社会科学。西方语言中的“经济学”一词源于古希腊的。\n\n经济学注重的是研究经济行为者在一个经济体系下的行为，以及他们彼此之间的互动。在现代，经济学的教材通常将这门领域的研究分为总体经济学和个体经济学。微观经济学检视一个社会里基本层次的行为，包括个体的行为者（例如个人、公司、买家或卖家）以及与市场的互动。而宏观经济学则分析整个经济体和其议题，包括失业、通货膨胀、经济成长、财政和货币政策等。..."}

2. Versão json do corpus de notícias (news2016zh)

2,5 milhões de notícias (dados originais 9G, arquivo compactado 3.6G; intervalo de conteúdo de notícias: 2014-2016)

Download do Google Drive ou download do disco em nuvem Baidu , senha: k265

descrição de dados

Contém 2,5 milhões de artigos de notícias. As fontes de notícias cobrem 63.000 mídias, incluindo títulos, palavras-chave, descrições e textos.

Particionamento do conjunto de dados: os dados são desduplicados e divididos em três partes. Conjunto de treinamento: 2,43 milhões; conjunto de verificação: 77.000; conjunto de teste, dezenas de milhares, não disponível para download.

Possíveis usos:

可以做为【通用中文语料】，训练【词向量】或做为【预训练】的语料；

也可以用于训练【标题生成】模型，或训练【关键词生成】模型（选关键词内容不同于标题的数据）；

亦可以通过新闻渠道区分出新闻的类型。

estrutura:

{'news_id': <news_id>,'title':<title>,'content':<content>,'source': <source>,'time':<time>,'keywords': <keywords>,'desc': <desc>, 'desc': <desc>}

其中，title是新闻标题，content是正文，keywords是关键词，desc是描述，source是新闻的来源，time是发布时间

exemplo:

{"news_id": "610130831", "keywords": "导游，门票","title": "故宫淡季门票40元 “黑导游”卖外地客140元", "desc": "近

3. Enciclopédia Q&A versão JSON (baike2018qa)

1,5 milhão de perguntas e respostas (mais de 1G de dados originais, 663M de arquivos compactados; tempo de atualização de dados: 2018)

Download do Google Drive ou download do disco de nuvem Baidu , senha: fu45

descrição de dados

Contém 1,5 milhão de perguntas e respostas pré-filtradas e de alta qualidade, uma para cada categoria. Há um total de 492 categorias, das quais 434 categorias têm uma frequência de 10 ou mais.

Particionamento do conjunto de dados: os dados são desduplicados e divididos em três partes. Conjunto de treinamento: 1,425 milhão; conjunto de verificação: 45.000; conjunto de teste, dezenas de milhares, não disponível para download.

Possíveis usos:

可以做为通用中文语料，训练词向量或做为预训练的语料；也可以用于构建百科类问答；其中类别信息比较有用，可以用于做监督训练，从而构建

更好句子表示的模型、句子相似性任务等。

estrutura:

{"qid":<qid>,"category":<category>,"title":<title>,"desc":<desc>,"answer":<answer>}

其中，category是问题的类型，title是问题的标题，desc是问题的描述，可以为空或与标题内容一致。

exemplo:

{"qid": "qid_2540946131115409959", "category": "生活知识", "title": "冬天进补好一些呢，还是夏天进步好啊？ ", "desc": "", "answer": "你好！\r\r当然是冬天进补好的了，夏天人体的胃处于收缩状态，不适宜大量的进补，所以我们有时候说：“夏天就要吃些清淡的，就是这个道理的。”\r\r不过，秋季进补要注意“四忌” 一忌多多益善。任何补药服用过量都有害。认为“多吃补药，有病治病，无病强身”是不的。过量进补会加重脾胃、肝脏负担。在夏季里，人们由于喝冷饮，常食冻品，多有脾胃功能减弱的现象，这时候如果突然大量进补，会骤然加重脾胃及肝脏的负担，使长期处于疲弱的消化器官难于承受，导致消化器官功能紊乱。 \r\r二忌以药代食。重药物轻食物的做法是不科学的，许多食物也是好的滋补品。如多吃荠菜可治疗高血压；多吃萝卜可健胃消食，顺气宽胸；多吃山药能补脾胃。日常食用的胡桃、芝麻、花生、红枣、扁豆等也是进补的佳品。\r\r三忌越贵越好。每个人的身体状况不同，因此与之相适应的补品也是不同的。价格昂贵的补品如燕窝、人参之类并非对每个人都适合。每种进补品都有一定的对象和适应症，应以实用有效为滋补原则，缺啥补啥。 \r\r四忌只补肉类。秋季适当食用牛羊肉进补效果好。但经过夏季后，由于脾胃尚未完全恢复到正常功能，因此过于油腻的食品不易消化吸收。另外，体内过多的脂类、糖类等物质堆积可能诱发心脑血管病。"}

Comentários públicos:

Bem-vindo ao relatar a precisão do modelo no conjunto de validação. Tarefa 1: Previsão de classe.

O relatório inclui: #1) a taxa de precisão no conjunto de verificação; #2) o modelo usado, a descrição do método, o método de operação, PDF de 1 página; #3) o código-fonte que pode ser executado (opcional)

Com base em #2 e #3, testaremos no conjunto de teste e relataremos a precisão no conjunto de teste; apenas as equipes #1 e #2 são fornecidas, os resultados no conjunto de verificação ainda podem ser exibidos, mas serão marcados como não verificado.

4. Versão json de perguntas e respostas da comunidade (webtext2019zh): conjunto de dados de alta qualidade em larga escala

4,1 milhões de perguntas e respostas (dados filtrados 3,7G, arquivos compactados 1,7G; período de dados: 2015-2016)

Google DriveDownload

descrição de dados

Contém 4,1 milhões de perguntas e respostas pré-filtradas e de alta qualidade. Cada pergunta pertence a um [tópico], há um total de 28.000 tópicos diferentes, e os tópicos são abrangentes.

Das 14 milhões de perguntas e respostas originais, selecione as respostas que obtiverem pelo menos 3 curtidas ou mais, o que significa que o conteúdo da resposta é relativamente bom ou interessante, para obter um conjunto de dados de alta qualidade.

Além de cada pergunta corresponder a um tópico, uma descrição da pergunta e uma ou mais respostas, cada resposta também possui o número de curtidas, ID da resposta e tag do respondente.

Particionamento do conjunto de dados: os dados são desduplicados e divididos em três partes. Conjunto de treinamento: 4,12 milhões; conjunto de verificação: 68.000; conjunto de teste a: 68.000; conjunto de teste b, não disponível para download.

Possíveis usos:

1）构建百科类问答：输入一个问题，构建检索系统得到一个回复或生产一个回复；或根据相关关键词从，社区问答库中筛选出你相关的领域数据

2）训练话题预测模型：输入一个问题(和或描述)，预测属于话题。

3）训练社区问答(cQA)系统：针对一问多答的场景，输入一个问题，找到最相关的问题，在这个基础上基于不同答案回复的质量、

  问题与答案的相关性，找到最好的答案。

4）做为通用中文语料，做大模型预训练的语料或训练词向量。其中类别信息也比较有用，可以用于做监督训练，从而构建更好句子表示的模型、句子相似性任务等。

5）结合点赞数量这一额外信息，预测回复的受欢迎程度或训练答案评分系统。

estrutura:

{"qid":<qid>,"title":<title>,"desc":<desc>,"topic":<topic>,"star":<star>,"content":<content>,

"answer_id":<answer_id>,"answerer_tags":<answerer_tags>}

其中，qid是问题的id，title是问题的标题，desc是问题的描述，可以为空；topic是问题所属的话题，star是该回复的点赞个数，

content是回复的内容，answer_id是回复的ID,answerer_tags是回复者所携带的标签

exemplo:

{"qid": 65618973, "title": "AlphaGo只会下围棋吗？阿法狗能写小说吗？", "desc": "那么现在会不会有智能机器人能从事文学创作？<br>如果有，能写出什么水平的作品？", "topic": "机器人", "star": 3, "content": "AlphaGo只会下围棋，因为它的设计目的，架构，技术方案以及训练数据，都是围绕下围棋这个核心进行的。它在围棋领域的突破，证明了深度学习深度强化学习MCTS技术在围棋领域的有效性，并且取得了重大的PR效果。AlphaGo不会写小说，它是专用的，不会做跨出它领域的其它事情，比如语音识别，人脸识别，自动驾驶，写小说或者理解小说。如果要写小说，需要用到自然语言处理（NLP））中的自然语言生成技术，那是人工智能领域一个", "answer_id": 545576062, "answerer_tags": "人工智能@游戏业"}

Avaliações públicas e tarefas neste conjunto de dados:

Tarefa 1: Previsão de tópico.

O relatório inclui: #1) a taxa de precisão no conjunto de verificação; #2) o modelo usado, a descrição do método, o método de operação, PDF de 1 página; #3) o código-fonte que pode ser executado (opcional)

Com base em #2 e #3, testaremos no conjunto de teste e relataremos a precisão no conjunto de teste; apenas as equipes #1 e #2 são fornecidas, os resultados no conjunto de verificação ainda podem ser exibidos, mas serão marcados como não verificado.

Tarefa 2: Treine um sistema de Resposta a Perguntas da Comunidade (cQA).

Requisitos: O índice de avaliação usa MAP, constrói um conjunto de teste adequado para problemas de classificação e relata o efeito no conjunto de teste.

Tarefa 3: Use este conjunto de dados (webtext2019zh), consulte o GPT-2 da OpenAI, treine o modelo de escrita de texto em chinês, teste o efeito do zero-shot em outros conjuntos de dados ou avalie o efeito do modelo de linguagem.

5. Corpus de tradução (translation2019zh)

5,2 milhões de corpus paralelo chinês e inglês (dados originais 1.1G, arquivo compactado 596M)

Google DriveDownload

descrição de dados

5,2 milhões de pares de corpus paralelo chinês-inglês. Cada par contém um inglês e um chinês correspondente. Em chinês ou inglês, na maioria dos casos é uma frase completa com sinais de pontuação.

Para um par chinês-inglês paralelo, o chinês tem uma média de 36 palavras e o inglês tem uma média de 19 palavras (palavras como "ela")

Particionamento do conjunto de dados: os dados são desduplicados e divididos em três partes. Conjunto de treinamento: 5,16 milhões; conjunto de verificação: 39.000; conjunto de teste, dezenas de milhares, não disponível para download.

Possíveis usos:

可以用于训练中英文翻译系统，从中文翻译到英文，或从英文翻译到中文；

由于有上百万的中文句子，可以只抽取中文的句子，做为通用中文语料，训练词向量或做为预训练的语料。英文任务也可以类似操作；

estrutura:

{"english": <english>, "chinese": <chinese>}

其中，english是英文句子，chinese是中文句子，中英文一一对应。

exemplo:

{"english": "In Italy, there is no real public pressure for a new, fairer tax system.", "chinese": "在意大利，公众不会真的向政府施压，要求实行新的、更公平的税收制度。"}

, dezenas de milhares, sem download disponível.

Possíveis usos:

可以用于训练中英文翻译系统，从中文翻译到英文，或从英文翻译到中文；

由于有上百万的中文句子，可以只抽取中文的句子，做为通用中文语料，训练词向量或做为预训练的语料。英文任务也可以类似操作；

estrutura:

{"english": <english>, "chinese": <chinese>}

其中，english是英文句子，chinese是中文句子，中英文一一对应。

exemplo:

{"english": "In Italy, there is no real public pressure for a new, fairer tax system.", "chinese": "在意大利，公众不会真的向政府施压，要求实行新的、更公平的税收制度。"}