" Eu recomendo um livro sobre grandes modelos, da teoria à prática, de coautoria de Zhang Qi, Gui Tao, Zheng Rui e Wan Xuanjing. Siga a conta oficial para obter a versão eletrônica. "
Índice
1. Introdução
1.1 Conceitos básicos de modelos de linguagem em larga escala
1.2 História do desenvolvimento de modelos de linguagem em larga escala
1.3 Processo de construção de modelo de linguagem em larga escala
1.4 Organização do conteúdo deste livro
2 princípios básicos do modelo de linguagem principal
2.1 Modelo do transformador
2.2 Modelo de linguagem generativa de pré-treinamento GPT
2.3 Grande estrutura do modelo de linguagem
3 Dados de treinamento do modelo de linguagem
3.1 Fonte de dados
3.2 Processamento de dados
3.3 Análise de impacto de dados
3.4 Coleta de dados de código aberto
4 Treinamento distribuído
4.1 Visão geral do treinamento distribuído
4.2 Estratégia paralela de treinamento distribuído
4.3 Arquitetura de cluster para treinamento distribuído
4.4 Prática DeepSpeed
5 Ajuste fino supervisionado
5.1 Aprendizagem imediata e aprendizagem contextual
5.2 Ajuste fino do modelo eficiente
5.3 Expansão da janela de contexto do modelo
5.4 Construção de dados de instrução
5.5 Prática SFT Deepspeed-Chat
6 Aprendizagem por Reforço
6.1 Aprendizagem por reforço baseada em feedback humano
6.2 Modelo de recompensa
6.3 Otimização da estratégia proximal
6.4 Prática MOSS-RLHF
7 principais aplicações de modelo de linguagem
7.1 Planejamento de inferência
7.2 Estrutura de aplicação abrangente
7.3 Agente inteligente
7.4 Modelo multimodal grande
7.5 Otimização de inferência de modelo de linguagem grande
8 avaliações principais de modelos de linguagem
8.1 Visão geral da avaliação do modelo
8.2 Sistema de avaliação de modelos de linguagem grande
8.3 Métodos de avaliação de modelos de linguagem grande
8.4 Prática de avaliação de modelos de linguagem grande
Para obter o e-book: siga a conta oficial, responda automaticamente ao endereço do disco de rede "Materiais de aprendizagem de IA", entre no diretório "1. Leitura obrigatória para começar" e baixe "Modelo de linguagem em larga escala - da teoria para praticar - Zhang Qi-LLM-TAP.pdf" .
Recomendações de leitura:
O que o LLM de grande modelo de IA pode fazer para ajudar as empresas?
Recomendo FinGLM, um grande projeto de modelo de código aberto para análise financeira
Um longo artigo de 10.000 palavras lhe dará uma interpretação abrangente do modelo visual
Abrace o futuro e aprenda habilidades de IA! Siga-me e receba recursos gratuitos de aprendizagem de IA.