Directorio de artículos
⭐Prólogo
El 17 de octubre se celebró Baidu World 2023 en el parque Shougang de Beijing. Baidu Intelligent Cloud anunció durante la conferencia que ha actualizado integralmente su estrategia de "inteligencia en la nube en uno" y ha proporcionado soluciones de servicios completos para cinco tipos de necesidades de los clientes para implementar modelos a gran escala; para el desarrollo de aplicaciones nativas de IA, ha lanzado el "banco de trabajo de desarrollo de aplicaciones nativas de IA de Qianfan", que acelera la implementación de aplicaciones nativas de IA empresarial, lanza la primera tienda nacional de aplicaciones nativas de IA y el primer sistema nacional de soporte ecológico de enlace completo de modelo grande para potenciar el crecimiento empresarial de los socios y, en conjunto, construir y compartir un ecosistema industrial próspero de gran modelo.
En esta conferencia, Shen Dou, vicepresidente ejecutivo de Baidu Group y presidente de Baidu Intelligent Cloud Business Group, dijo que la profunda integración de la inteligencia artificial y la computación en la nube es la clave para que las empresas implementen rápidamente aplicaciones nativas de IA. Intelligent Cloud siempre ha defendido y practicado el concepto de “nube e inteligencia integradas”.
⭐Cinco tipos de requisitos para la implementación de modelos a gran escala orientados al cliente
Actualmente, todas las aplicaciones y servicios del Grupo Baidu se ejecutan en Baidu Smart Cloud basado en la arquitectura tecnológica de "inteligencia en la nube en uno". Además, en respuesta a los cinco tipos de necesidades de los clientes para implementar modelos grandes, la "Superfábrica de modelos grandes" de Baidu Intelligent Cloud basada en la plataforma de modelos grandes Qianfan ofrece las siguientes cinco mejores soluciones de servicio.
- Para los clientes que solo necesitan potencia informática , la plataforma Qianfan puede proporcionar servicios informáticos heterogéneos extremadamente eficientes y rentables. En el proceso de capacitación de modelos a gran escala que más preocupa a los clientes, a través de estrategias de capacitación paralela distribuida y capacidades de interconexión de nivel de microsegundos, la plataforma Qianfan puede lograr de manera eficiente una expansión a gran escala de la potencia informática. La tasa de aceleración de la capacitación en clústeres a escala Wanka alcanza 95 %; a través de la prevención previa, descubrir, localizar y resolver problemas de manera oportuna para minimizar el funcionamiento no válido del clúster debido a fallas y otras razones, y aumentar la proporción de tiempo de capacitación efectivo. El tiempo de capacitación efectivo del clúster Wanka supera el 96 %, liberando completamente la potencia informática efectiva del clúster y reduciendo significativamente la potencia informática del cliente y los costos de tiempo. Además, la plataforma Qianfan también es compatible con chips de IA convencionales nacionales y extranjeros, como Kunlun Core, Ascend, Haiguang DCU, NVIDIA e Intel, lo que permite a los clientes completar la adaptación de la potencia informática con costos de conmutación mínimos.
Face Wall Intelligence se asoció con Zhihu para entrenar el modelo grande "Zhihaitu AI" y el modelo grande multimodal Luca basado en el grupo de potencia de computación de IA proporcionado por Baidu Intelligent Cloud. El tiempo de entrenamiento efectivo en el grupo de kilocalorías representó hasta el 99%. Al tiempo que se garantiza la continuidad del entrenamiento del modelo, se puede lograr una convergencia eficiente de los efectos del entrenamiento del modelo. Además, Zhihu, TAL, Horizon, NetEase Youdao y otras empresas también están utilizando los servicios informáticos de IA proporcionados por Baidu Smart Cloud para lograr la capacitación y gestión de clústeres a gran escala de una manera más estable, eficiente y económica. - A nivel de modelo, para los clientes que desean llamar directamente a los modelos grandes existentes , la plataforma Qianfan administra 42 modelos grandes nacionales y extranjeros. Los clientes empresariales pueden llamar rápidamente a las API de varios modelos grandes, incluidos los modelos grandes de Wenxin, y obtener capacidades de modelos grandes. . Para los modelos grandes de terceros, la plataforma Qianfan también ha realizado optimizaciones específicas, como mejoras en chino, mejoras en el rendimiento y mejoras en el contexto. Por ejemplo, los grandes modelos extranjeros como Llama2, que originalmente eran mejores en el diálogo en inglés, han tenido un desempeño igualmente bueno en chino después de la mejora en chino. En la actualidad, la plataforma Qianfan ha atendido a más de 17.000 clientes y el número de llamadas de modelos grandes sigue aumentando a un ritmo del 20% semana tras semana.
- Para los clientes que desean realizar un desarrollo secundario basado en modelos grandes existentes , la plataforma Qianfan proporciona una cadena de herramientas de ciclo de vida completo y los 41 conjuntos de datos industriales de alta calidad más grandes de la industria para reentrenamiento, ajuste, evaluación e implementación de modelos grandes para ayuda Los clientes pueden optimizar rápidamente los efectos del modelo para sus propios escenarios comerciales. En la actualidad, muchos clientes líderes de la industria, incluidos el Postal Savings Bank de China, Du Xiaoman, Kingsoft Office y Hebei Hi-Speed Group, han desarrollado modelos grandes exclusivos que satisfacen las necesidades comerciales a través de los servicios de cadena de herramientas proporcionados por el Plataforma Qianfan.
- A nivel de aplicación, algunas empresas necesitan desarrollar aplicaciones nativas de IA basadas en servicios modelo grandes . La serie de componentes de capacidad y marcos proporcionados en la plataforma Qianfan pueden ayudar a las empresas a completar rápidamente el desarrollo de aplicaciones y responder de manera flexible a las necesidades de los usuarios y del mercado.
- Otro grupo de clientes espera comprar productos maduros de aplicaciones nativas de IA de forma directa y conveniente para potenciar el desarrollo empresarial.
⭐ "Qianfan AI Native Application Development Workbench" acelera la implementación de aplicaciones nativas de IA empresarial
Para satisfacer las necesidades de las empresas de un desarrollo, operación y mantenimiento de aplicaciones nativas de IA ágiles y eficientes, y para reducir el umbral para el desarrollo de aplicaciones nativas de IA, Baidu Smart Cloud ha lanzado el "Qianfan AI Native Application Development Workbench" , que desarrollará Los patrones comunes para aplicaciones, herramientas y procesos de modelos grandes se integran en un banco de trabajo para ayudar a los desarrolladores a concentrarse en su propio negocio sin involucrar energía innecesaria en el proceso de desarrollo. Específicamente, el banco de trabajo de desarrollo de aplicaciones nativas de Qianfan AI consta principalmente de dos capas de servicios: componentes de aplicación y marco de aplicación.
El servicio de componentes de la aplicación consta de dos categorías principales de componentes: IA y componentes básicos de la nube. Es una encapsulación en componentes de las capacidades del servicio subyacente, lo que permite que cada componente complete una función específica. Los "componentes de IA" incluyen no solo componentes de modelos de lenguaje grandes, como preguntas y respuestas, Cadena de pensamiento (CoT, Cadena de pensamiento), sino también componentes multimodales como diagramas de Vincent y reconocimiento de voz, mientras que los "componentes básicos de la nube" incluyen vectores. bases de datos, almacenamiento de objetos y otras capacidades tradicionales de servicios en la nube.
Baidu ha acumulado gradualmente las capacidades de muchos componentes aquí durante los últimos 10 años, lo que nos facilita el desarrollo de aplicaciones de modelos grandes. Por supuesto, si utilizamos estos componentes directamente, todavía existen algunos umbrales y necesitamos tener una cierta base. Por lo tanto, Baidu conecta y combina estos componentes para que puedan completar la tarea de un escenario específico de manera relativamente completa: este es el marco de la aplicación .
⭐Marcos de aplicaciones nativas de IA de uso común
Actualmente, la generación mejorada de recuperación (RAG) y el agente (Agente) proporcionados en la plataforma Qianfan son marcos de aplicaciones nativas de IA de uso común. En cada marco, podemos utilizar las ricas salas de muestra proporcionadas por Baidu Smart Cloud para llevar a cabo un desarrollo ágil y eficiente de aplicaciones nativas de IA. Primero veamos el marco de la aplicación RAG.
⭐Generación de aumento de recuperación (RAG)
El marco de recuperación de generación aumentada (RAG) puede utilizar de manera más eficiente el conocimiento en los campos propietarios de una empresa y proporcionar respuestas precisas a preguntas relevantes con la ayuda de modelos grandes. Es imprescindible para las aplicaciones nativas de IA en el campo de preguntas y respuestas de conocimiento profesional. Preparar competencias básicas.
Todos sabemos que en los negocios reales, los usuarios a menudo hacen preguntas muy profesionales o muy específicas, y las respuestas no están en Internet, sino en los datos de los documentos de la propia empresa. En este caso, el modelo general de lenguaje grande no puede dar una respuesta exacta. Este es un escenario de aplicación típico de RAG, que permite que los modelos grandes aprendan y comprendan estos conocimientos profesionales específicos y devuelvan respuestas precisas a los usuarios.
En el lugar de la conferencia, también se llevó a cabo una demostración práctica sobre cómo desarrollar rápidamente una aplicación de preguntas y respuestas de conocimiento para Sany Heavy Industry basada en el marco RAG: simplemente seleccione el marco RAG prefabricado en el banco de trabajo de la aplicación nativa Qianfan AI y realice la configuración de parámetros correspondiente. y otros trabajos Realice rápidamente el desarrollo y lanzamiento de la aplicación inteligente de servicio al cliente en el sitio web oficial de Sany Heavy Industry.
El video primero presenta el escenario de aplicación de la demostración, luego implementa el desarrollo de servicio al cliente inteligente en el sitio web oficial de Sany Heavy Industry en solo unos minutos y finalmente demuestra el efecto en el sitio web oficial.
Primero echemos un vistazo al escenario de aplicación de la demostración. Este es el sitio web oficial de Sany Heavy Industry. Puede ver que Sany Heavy Industry produce una variedad de maquinaria y equipos de construcción, incluidas excavadoras. Cuando un usuario llega a la página de inicio, quiere consultar sobre estos equipos. Cuando tenga preguntas sobre parámetros de rendimiento, operación y mantenimiento, etc., debe encontrar un miembro del personal que sea muy competente en estos equipos para poder atender bien al usuario. Sin embargo, los documentos de Sany Heavy Industry cubren mucho contenido. Por ejemplo, este es el manual de operación y mantenimiento de una excavadora llamada SY305H. Un documento tiene 48 páginas y más de 20.000 palabras. Incluye muchos parámetros y detalles. Si let an Todavía es muy difícil para los empleados captar de manera flexible estos contenidos y responder a las preguntas de los usuarios. El marco de aplicación basado en RAG de Baidu puede crear un modelo grande en unos minutos, lo que permite dominarlo rápidamente y responder las preguntas de los usuarios.
Cómo implementar esta función es realmente muy simple y solo requiere tres pasos. Primero ingresamos a la consola de la plataforma Qianfan, construimos una base de conocimientos, ingresamos un nombre, luego de tener la base de conocimientos cargamos el documento del manual de operación y mantenimiento del SY305H.
Luego ingrese a la aplicación de desarrollo y haga clic en Orquestación de complementos. En la configuración, debemos asociar la base de conocimientos que acabamos de crear. Ahora haga clic en Aceptar para conectarse en línea una vez completada la asociación.
Ahora este inventario de conocimientos se puede servir en línea. El código se genera automáticamente aquí. Podemos copiarlo y pegarlo en el script en la página de inicio del sitio web oficial de Sany Heavy Industry. Regrese a la página de inicio y actualícela. Un pequeño ícono de Sany Los productos aparecerán en la esquina inferior derecha. Asistente, ahora puede hacerle preguntas específicas sobre esta excavadora.
Podemos ver que la respuesta del asistente es muy concisa, qué se debe usar y qué no, de lo contrario qué tipo de problemas causará. Descubrimos el contenido de este aspecto en el documento y lo comparamos con las respuestas del asistente. Descubrimos que el asistente no solo es conciso, sino también muy lógico. Es precisamente porque este modelo grande tiene capacidades de generación y comprensión de lenguaje tan poderosas. Entonces, en este momento, solo le hacemos algunas preguntas más y aún puede ordenar el contenido.
Un artículo de 20.000 palabras y 48 páginas de contenido se pueden convertir en un asistente online en tan solo unos minutos: éste es el encanto de los modelos grandes.
⭐Agente
El Agente, como marco de aplicación popular en la industria actual, puede desarmar automáticamente las tareas asignadas por humanos, planificar y llamar automáticamente a varios componentes para completar tareas de manera colaborativa y, al mismo tiempo, recibir comentarios basados en los resultados de la finalización de las tareas para mejorar. sus propias capacidades. En la actualidad, el marco del Agente se ha utilizado ampliamente en la industria, el transporte y otros campos.
Basado en el marco de agentes proporcionado por el banco de trabajo de desarrollo de aplicaciones nativas de Qianfan AI, Zhongtian Steel ha creado un "centro de programación empresarial" inteligente para realizar la percepción, descomposición y ejecución automática de instrucciones de tareas. Por ejemplo, cuando se descubre que la producción de acero no cumple con los estándares, el usuario solo necesita preguntar una vez y el modelo grande puede llamar automáticamente a varios recursos y API administrados por la plataforma para completar la recuperación de datos de BI y la causa raíz de terceros. análisis, etc., encontrar las razones por las que no se cumple con el estándar, y realizar ajustes oportunos a los programas de producción.
⭐Resumen
La era de los grandes modelos está aquí y es turbulenta. Algunas personas compiten por aprovechar la marea, mientras que otras están ocupadas persiguiendo las olas. Baidu está comprometido a construir un barco sólido, utilizando una infraestructura intelectual más eficiente y mejor utilizada. -Detener el florecimiento de plataformas de modelos grandes, soluciones industriales más ricas y aplicaciones nativas de IA.
A través del caso demostrado de Sany Heavy Industry y la comprensión del proceso de acceso a la plataforma Qianfan, de hecho, solo se necesitan unos pocos pasos para desarrollar rápidamente una aplicación. Para las empresas, esto significa reducir costos y aumentar la eficiencia; para los técnicos, Qianfan es genial El rico conjunto de herramientas de la plataforma modelo brinda la posibilidad de un desarrollo rápido y también podemos concentrar nuestro tiempo y energía en cosas más creativas.