El 16 de agosto, se llevó a cabo en Beijing la Conferencia de Desarrolladores de Aprendizaje Profundo WAVE SUMMIT 2023 organizada por el Centro Nacional de Investigación de Ingeniería para Tecnología y Aplicación de Aprendizaje Profundo. Wang Haifeng, director de tecnología de Baidu y director del Centro Nacional de Investigación de Ingeniería para Tecnología y Aplicación de Aprendizaje Profundo, pronunció un discurso de apertura. Wang Haifeng afirmó por primera vez que el modelo de lenguaje grande tiene las capacidades básicas centrales de la inteligencia artificial, como la comprensión, la generación, la lógica y la memoria, lo que trae el amanecer de la inteligencia artificial general.
El número de desarrolladores de pádel alcanza los 8 millones y el número de modelos supera los 800.000
La conferencia de desarrolladores de aprendizaje profundo WAVE SUMMIT comenzó en abril de 2019. Wang Haifeng propuso en la primera conferencia que el aprendizaje profundo tiene una gran versatilidad y tiene las características de estandarización, automatización y modularización de la producción industrial en masa, lo que promoverá la inteligencia artificial para ingresar a la etapa de producción industrial en masa. En los últimos cuatro años, el desarrollo de tecnologías y aplicaciones de aprendizaje profundo ha verificado plenamente este punto de vista. La versatilidad de la tecnología de aprendizaje profundo es cada vez más fuerte, y la estandarización, automatización y modularización de las plataformas de aprendizaje profundo son cada vez más prominentes.El aumento de modelos grandes preentrenados ha ampliado aún más la profundidad y amplitud de las aplicaciones de inteligencia artificial. La inteligencia artificial ha entrado en la etapa de producción industrial en masa.
En términos de estandarización, optimización conjunta de marcos y modelos, adaptación unificada de múltiples hardware, modelos de aplicación simples y eficientes, lo que reduce considerablemente el umbral para las aplicaciones de inteligencia artificial; en términos de automatización, desde entrenamiento, adaptación hasta implementación de inferencia, mejora la eficiencia de todo el proceso de investigación y desarrollo de inteligencia artificial; modularización Por un lado, la rica biblioteca de modelos de nivel industrial admite la aplicación conveniente de inteligencia artificial en una amplia gama de escenarios.
Se entiende que gracias a la promoción mutua de la plataforma abierta de código abierto de aprendizaje profundo de nivel industrial Flying Paddle y el modelo grande Wenxin, la ecología Flying Paddle se ha vuelto cada vez más próspera. Ha reunido a 8 millones de desarrolladores y ha servido a 220,000 empresas y Instituciones Basado en Flying Paddle, 80 millones de modelos. Wang Haifeng explicó el significado significativo del nombre chino "Comunidad Xinghe" de AI Studio, una comunidad de desarrolladores de paletas voladoras, "Wenxin más paleta voladora, ve a la galaxia a la ligera". Junto con todos los desarrolladores, con el apoyo de Flying Paddle y Wenxin, construiremos la comunidad Xinghe e iremos a las estrellas y océanos de la inteligencia artificial general.
Grandes modelos de lenguaje arrojan luz sobre la inteligencia artificial general
Wang Haifeng dijo que la inteligencia artificial tiene una variedad de habilidades típicas, y la comprensión, la generación, la lógica y la memoria son las habilidades básicas básicas. Cuanto más fuertes sean estas cuatro habilidades, más cerca estarán de la inteligencia artificial general, y el modelo de lenguaje grande tiene estas cuatro habilidades La inteligencia artificial general trae el amanecer.
Específicamente, las capacidades típicas de la inteligencia artificial, como la creación, la programación, la resolución de problemas y la planificación, dependen todas de capacidades básicas centrales como la comprensión, la generación, la lógica y la memoria, con diversos grados de dependencia. Tomando como ejemplo la resolución de problemas, desde leer las preguntas, contestar las preguntas hasta finalmente escribir las respuestas, requiere el uso integral de la comprensión, la memoria, la lógica y las habilidades generativas.
¿Cómo obtener estas habilidades? Tomando Wenxin Yiyan como ejemplo, en primer lugar, se obtiene un modelo grande preentrenado mediante el aprendizaje de fusión de billones de datos y cientos de miles de millones de conocimientos.Ventajas técnicas como la mejora del conocimiento, la mejora de la recuperación y la mejora del diálogo.
Además, las innovaciones tecnológicas, como la optimización de las fuentes de datos y la distribución de datos a través de diversas estrategias, el modelado de texto largo del modelo básico, el ajuste fino supervisado de varios tipos y etapas múltiples, el ajuste fino supervisado adaptativo de tareas múltiples, el ajuste fino supervisado de varios niveles y múltiples -Modelos de recompensa de granularidad, etc. Mejorar la capacidad general básica. Sobre la base de la mejora de la recuperación y la mejora del conocimiento, mejorar la comprensión y la aplicación del conocimiento mundial a través de la mejora del punto de conocimiento; a través de la construcción de datos lógicos a gran escala, el modelado de conocimiento lógico, la combinación de conocimiento semántico de granularidad múltiple y la red neuronal simbólica, mejorar la capacidad lógica; Garantice la seguridad de los modelos grandes mediante la creación de un sistema de seguridad integral para la seguridad de los datos, el contenido, los modelos y el sistema.
En términos de eficiencia, a través de la tecnología de entrenamiento paralelo híbrido autoadaptativo de extremo a extremo y la optimización colaborativa de compresión, inferencia e implementación de servicios, la velocidad de entrenamiento del modelo grande de Wenxin ha alcanzado 3 veces la velocidad original y la velocidad de inferencia. ha alcanzado más de 30 veces la velocidad original.
En términos de aplicación, la adaptación de la escena y la optimización colaborativa se llevan a cabo a través de la construcción rápida basada en datos y la mejora de complementos. Wenxin Yiyan ha lanzado cinco complementos principales: Baidu Search, Scroll Documents, Eyanyitu, Shuotujiehua y Yijingliuying, que permiten que el modelo genere información precisa y en tiempo real, resúmenes de texto largo y preguntas y respuestas, información de datos y producción de gráficos, y basado en en Capacidades como creación de imágenes, preguntas y respuestas, video Wensheng, etc. El mecanismo de complemento amplía el límite de capacidad del modelo grande y es más adecuado para las necesidades de la escena. Wang Haifeng dijo que, en el futuro, Baidu trabajará con los desarrolladores para construir un ecosistema de complementos y compartir innovaciones tecnológicas.
La inteligencia artificial representada por grandes modelos de lenguaje está penetrando en miles de industrias, acelerando la mejora industrial y el crecimiento económico. En este proceso, la innovación tecnológica y la implementación de aplicaciones han formado un círculo virtuoso, las capacidades de comprensión, generación, lógica y memoria han seguido mejorando, la amplitud y profundidad de las aplicaciones industriales han seguido ampliándose y el gran modelo de lenguaje ha traído los albores de la inteligencia artificial general.