Con la explosión de ChatGPT, el modelo de lenguaje extenso (LLM) ha recibido una atención sin precedentes. Según el "Informe de Big Data de tendencias de empleo de 2023Q1", la cantidad de puestos de trabajo en modelos de lenguaje grande aumentó en un 172,53% año tras año , que es el mayor aumento de puestos de trabajo en todas las industrias. Los profesionales en el campo de la PNL y el habla inteligente se están acercando a los grandes modelos de lenguaje.
Entonces, ¿ qué habilidades se necesitan para construir tu propio ChatGPT de 0 a 1? En resumen, los puntos principales son los siguientes:
(1) Transformador y RLHF
Transformer es la arquitectura central subyacente de ChatGPT, por lo que debe tener una comprensión profunda de los detalles de Transformer (incluida la arquitectura Seq2Seq, el mecanismo de atención); también debe dominar el método de ajuste y optimización del modelo: aprendizaje de refuerzo de retroalimentación humana modelo RLHF.
(2) Habilidades de ingeniería
ChatGPT es un proyecto que requiere capacidades de ingeniería complejas, como preprocesamiento de datos, entrenamiento de modelos y ajuste.
Deep Blue Academy combina los principios del transformador y RLHF con la práctica de la ingeniería, y lanzó el curso " Modelo de lenguaje generativo previo al entrenamiento: teoría y práctica " . Comenzando con el modelo de lenguaje clásico, profundizaremos gradualmente en el modelo GPT, desmontaremos el módulo central de GPT en detalle y finalmente llevaremos a todos a realizar su propio mini-ChatGPT . Mientras explica los principios, el curso presta gran atención a la práctica del código. Desde el preprocesamiento de datos hasta el entrenamiento y ajuste de modelos, la implementación del código de 10 proyectos prácticos se intercala con cada teoría de algoritmo.
Introducción al proyecto mini-ChatGPT de Deep Blue Academy
Escanea el código QR para saber más
Observación 【615 】 ¡pase de prioridad!
tutor del curso
huangjia
Investigador sénior de inteligencia artificial en la Agencia de Ciencia, Tecnología e Investigación de Singapur. Su principal dirección de investigación es el desarrollo y la aplicación de grandes modelos de PNL, aprendizaje continuo, IA en FinTech e IA en datos de espectrometría. Ha escrito muchos de los libros más vendidos, como "Aprendizaje automático básico" y "Diez capítulos de análisis de datos”, y ha estado profundamente involucrado en el campo de la ciencia de datos durante muchos años. Ha acumulado una gran cantidad de proyectos de investigación científica y la implementación de proyectos de IA en los campos de gobierno, banca, energía y atención médica Experiencia práctica.
Esquema del curso
(Haga clic para ampliar la imagen)
Objetivos del Curso
Este curso adopta una comprensión profunda del principio y la implementación del código del modelo de lenguaje generativo representado por ChatGPT y desarrolla de forma independiente su propio ChatGPT.
(1) Dominar los algoritmos clásicos y convencionales de los modelos de lenguaje y su contexto de desarrollo;
(2) Comprensión profunda de varias tecnologías centrales de ChatGPT;
(3) Implemente la versión mini de ChatGPT a mano.
Cosecha
1. Obtendrá el núcleo clave y el contexto completo de la tecnología moderna de PNL (abandone todas las cosas obsoletas que no necesitan entenderse demasiado)
2. Construirás tu propia versión simplificada de ChatGPT (modelo de lenguaje generativo)
3. Dominarás las habilidades básicas de programación en el campo de la PNL y el contenido principal de PyTorch
4. Dominará las ideas centrales y la implementación del código del mecanismo de atención y la arquitectura Transformer
servicio de cursos
1. Asistido por tres divisiones
Los profesores y asistentes de enseñanza responden preguntas de manera oportuna, y el director dirige la clase para supervisar todo el proceso para ayudarlo a superar la dilación y lograr un progreso continuo.
2. Reunión ordinaria de la clase
Los asistentes de enseñanza corrigen la tarea 1 a 1 y comentan y guían en las reuniones de clase; aprenden más habilidades en las reuniones de clase; adquieren más ideas en los intercambios.
consultar más
Escanea el código QR para saber más
Comentario 【615 】 , ¡solo a través de amigos!
