Recientemente, se celebró en Shanghai la Conferencia de Conectividad Total 2023 de Huawei. En la conferencia, el CTO de Huawei Cloud, Zhang Yuxin, lanzó un marco de desarrollo de aplicaciones de modelo grande basado en tecnología sin servidor. El marco toma el recientemente actualizado FunctionGraph 3.0 para el campo de la IA como núcleo e integra rápida y perfectamente BaaS para el backend y el abierto de la IA. plataforma para ayudar a las empresas a comercializar fácilmente aplicaciones de IA.
En el discurso especial "Global Serverless + AI acelera la innovación de aplicaciones", Guo Wei, director de productos de la nube de Huawei, y Tan Kun, director del laboratorio de software paralelo y distribuido de Huawei 2012, compartieron conceptos y prácticas de vanguardia sobre cómo combinar Serverless e AI. , análisis en profundidad de los productos principales de Huawei Cloud en el campo sin servidor y capacidades centrales distribuidas basadas en la arquitectura Yuanrong, creando una excelente experiencia de IA sin servidor para desarrolladores y ayudando a las empresas a acelerar la innovación de aplicaciones; Experto en Negocios Jefe/Vicepresidente de Glodon Technology Co., Ltd. Qi Changfu compartió cómo en la industria de la construcción, los productos Huawei Cloud Serverless optimizan el desarrollo de aplicaciones de IA basadas en FunctionGraph y mejoran la eficiencia del trabajo del equipo de desarrollo.
Global Serverless aporta nuevas experiencias al uso profundo de la nube en miles de industrias
Fang Guowei presentó que en el contexto de la era de la IA, los métodos de desarrollo de software han pasado de estar centrados en el código a estar centrados en el modelo. Actualmente, los proveedores de la nube están explorando activamente cómo utilizar plenamente las capacidades de los grandes modelos de IA.
Al crear aplicaciones AIGC, el personal de I + D corporativo presta más atención a si se puede reducir el umbral de desarrollo e implementación y si las necesidades corporativas se pueden completar más rápido. El personal de operación y mantenimiento debe garantizar que el sistema pueda funcionar de manera estable, lograr una rápida elasticidad durante las horas pico y ahorrar costos durante las horas comerciales pequeñas. La empresa no solo puede lograr los objetivos comerciales, sino también garantizar una alta confiabilidad del sistema y bajos costos.
Para respaldar mejor las aplicaciones AIGC, Huawei Cloud proporciona capacidades sin servidor de dominio completo, lanzó productos sin servidor como CCE Autopilot, FunctionGraph y CAE, y construyó una serie de tecnologías nativas de IA en servicios back-end para formar BaaS para capacidades de IA. que se puede llamar tener que. Combinado con una cadena de herramientas completa, ayuda a las empresas a crear aplicaciones rápidamente.
Los contenedores sin servidor CCE Autopilot y CCI permiten a los usuarios operar y mantener automáticamente sin prestar atención a los recursos subyacentes, lo que ayuda a los usuarios a reducir los costos de operación y mantenimiento.
En el escenario Cloud Bursting, Qunar.com creó una nueva experiencia de migración a la nube flexible basada en CCI, completó la transformación empresarial cero y logró la máxima elasticidad de 4000 instancias/30 segundos.
Las ocho capacidades clave de FunctionGraph 3.0 ayudan a la innovación de aplicaciones AIGC
El FunctionGraph 3.0 recientemente actualizado agrega un centro de aplicaciones sin servidor, aceleración de arranque en frío Snapshot original, funciones de recomendación inteligente de instancia reservada y coopera con tecnología de virtualización de recursos heterogéneos para lograr aplicaciones AIGC de bajo costo, baja latencia y compresión de enlace completo de extremo a extremo. Las capacidades de prueba y observabilidad completa ayudan a que las aplicaciones AIGC se desarrollen y lancen rápidamente al más alto nivel.
Hangzhou Manfu Technology Co., Ltd. es un proveedor de servicios de plataforma de inteligencia de datos e infraestructura de inteligencia artificial líder en la industria que construye una plataforma de capacitación de inteligencia artificial automatizada basada en FunctionGraph y logra una reducción de costos del 40% con un suministro de energía informática de GPU más detallado y Elasticidad de recursos bajo demanda totalmente automática.
El servicio de bus de eventos sin servidor en la nube de Huawei Event Grid puede admitir cuatro escenarios típicos: centro de eventos unificado, motor impulsado por eventos, apertura e integración y costos de desarrollo reducidos, proporcionando a las empresas capacidades centralizadas de integración, gobernanza y conducción de eventos.
En el escenario de Internet de los vehículos, una importante empresa automovilística utiliza EventGrid para crear una arquitectura basada en eventos sin servidor y, al mismo tiempo, logra un desacoplamiento asincrónico de aguas arriba y aguas abajo para facilitar la expansión y evitar puntos únicos de falla; como centro de eventos para acoplamiento no codificado, evita puntos Acoplamiento punto a punto entre servicios en la nube, lo que reduce la carga de trabajo de desarrollo en un 50 %, logrando una alta confiabilidad de los datos con cero pérdidas y cero cambios en el ajuste de las reglas de datos. reducir costos.
Actualización del producto CAE de alojamiento de aplicaciones sin servidor: admite la modificación sin código de las aplicaciones que se migrarán a la nube, sin que los usuarios tengan que modificar los códigos comerciales; admite la sin servidor de aplicaciones web/microservicios, lo que ayuda a las empresas a reducir costos, aumentar la eficiencia y mejorar la estabilidad empresarial.
Guangzhou Xinhechuang Technology Co., Ltd., una subsidiaria de Hong Kong New World, utiliza el modelo de alojamiento completo CAE para aumentar la eficiencia en un 50%; también establecerá una expansión y contracción programadas de acuerdo con el flujo máximo de personas en el centro comercial para ahorrar. recursos y reducir costos.
BaaS para IA: el servicio Huawei Cloud BaaS DWS 3.0 proporciona el modo elástico de pago por recurso y el modo elástico de pago por consulta para ayudar a las empresas a lograr servicios back-end sin servidor.
"Huawei Cloud proporciona capacidades sin servidor de dominio completo, lo que permite a los desarrolladores desarrollar grandes modelos industriales 5 veces más rápido, respaldando el desarrollo de aplicaciones de IA en miles de industrias. El recientemente actualizado FunctionGraph 3.0 para el campo de la IA realmente permite que las aplicaciones de modelos grandes sean "Se enciende y apaga y responde al instante. Infinitamente escalable".
La tecnología sin servidor avanza hacia la IA y poderosas alianzas aceleran la innovación de las aplicaciones de IA
Tan Kun compartió aspectos técnicos en profundidad sobre cómo FunctionGraph 3.0, construido sobre el innovador kernel independiente Yuanrong, garantiza un bajo costo para el desarrollo y la implementación de aplicaciones de IA y una baja latencia de respuesta:
El desarrollo y la implementación de modelos dependen de costosos recursos heterogéneos. En las funciones heterogéneas tradicionales, los recursos de CPU y XPU están vinculados y asignados. Una única función de inferencia contiene operaciones de CPU y XPU. La XPU está inactiva cuando opera la CPU y la CPU está inactiva cuando opera la XPU, lo que resulta en una baja utilización de recursos. La función heterogénea XPU pura original de Yuanrong desacopla la unión y el desacoplamiento de los recursos de CPU y XPU. Los usuarios pueden escribir las operaciones de diferentes tipos de recursos en diferentes funciones, que se descomponen en diferentes procesadores de potencia informática durante la ejecución, sin dejar recursos inactivos.
En escenarios de razonamiento de modelos grandes, incluye dos etapas: razonamiento completo y razonamiento incremental. El requisito de potencia de cálculo de la etapa de inferencia completa es mucho mayor que el de la etapa de inferencia incremental, y la etapa de inferencia incremental puede tardar mucho más que la etapa de inferencia completa. Para este tipo de escenario, Yuanrong puede desacoplar la inferencia completa y la inferencia incremental, expandirse y contraerse elásticamente según la demanda, suministrar potencia informática con precisión, cobrar realmente en función del uso y reducir los costos de usuario.
Una capacidad de respuesta más rápida de las aplicaciones significa una mejor experiencia de usuario. El modelo de IA FoldFormer, innovador de forma independiente, de Yuanrong puede predecir continuamente las cargas comerciales de los usuarios en línea y precalentar las instancias por adelantado, alcanzando una precisión del 85% al 95%, lo que reduce en gran medida la probabilidad de arranque en frío. El tráfico que no se puede predecir con precisión se acelera mediante una serie de medidas de optimización para el arranque en frío. En la fase de descarga del modelo de usuario, según el sistema de datos de memoria integrado y el caché jerárquico creado por SSD, los archivos del modelo se almacenan en caché en el sistema, lo que acorta significativamente el tiempo de descarga. Durante el cálculo, el modelo se carga en lotes por capa y se construye una canalización óptima basada en el SLA del usuario y los datos del historial de retraso de inferencia del modelo para reducir el retraso total de la carga de parámetros y la inferencia del modelo, y el arranque en frío se optimiza al segundo nivel.
Tan Kun finalmente concluyó: "Basado en el kernel de Yuanrong, FunctionGraph 3.0 proporciona un inicio en frío extremadamente rápido de funciones heterogéneas, una gestión de recursos heterogénea detallada y un escalado elástico bajo demanda, creando IA sin servidor con un costo extremadamente bajo y el máximo rendimiento; confiando en Huawei Los ricos servicios BaaS de la nube y un entorno de desarrollo totalmente administrado para crear una excelente experiencia de IA sin servidor".
La IA potencia la digitalización de la industria de la construcción
Qi Changfu, experto en negocios jefe y vicepresidente de Glodon Technology Co., Ltd., pronunció un discurso de apertura sobre la IA que potencia la digitalización de la industria de la construcción. "Como proveedor de servicios de plataforma de construcción digital, Glodon se basa en la industria de la construcción y ofrece a los clientes soluciones digitales en todo el ciclo de vida de los proyectos de ingeniería. La empresa propone el concepto de "construcción digital" y espera implementar de manera sistemática, integral y profunda "Construcción digital" a través de "construcción digital". Ayude a la industria de la construcción a transformarse y actualizarse".
Qi Changfu presentó que, en términos de tecnología, Glodon está liderando la transformación y actualización industrial a través de una intensa investigación y desarrollo de BIM y computación en la nube, big data, Internet de las cosas, Internet móvil, inteligencia artificial y otras tecnologías de la información.
En el campo de la IA, Glodon crea aplicaciones centrales de IA en torno a las dificultades de la industria y áreas clave como el diseño, el costo y la construcción. El diseño de la aplicación adopta el concepto Serverless y se basa en los servicios Huawei Cloud Serverless para crear soluciones. El modelo de IA se implementa en FunctionGraph de manera reflejada y proporciona una API común al mundo exterior. No hay necesidad de administrar y mantener heterogéneos. recursos (GPU, etc.). Las instancias del modelo se expanden automáticamente con el volumen de negocios. Se reduce, la instancia se reduce a 0 cuando no hay solicitudes y se ejecuta con bajo costo y alta disponibilidad. La aplicación de capa superior adopta la arquitectura de aplicación sin servidor de FaaS + BaaS e integra interfaces de razonamiento modelo, solo necesita centrarse en el código de lógica empresarial y puede desarrollarse en paralelo con granularidad a nivel de función e iterar rápidamente las aplicaciones.
La tecnología Huawei Cloud FunctionGraph optimiza en gran medida el proceso de desarrollo de aplicaciones de IA, lo que permite al equipo de IA centrarse más en la implementación empresarial sin prestar atención a los detalles técnicos subyacentes.
"Glodon se compromete a promover la digitalización de la industria de la construcción y se esfuerza por crear una digitalización sistemática de 'digital + conexión + algoritmo'. Centrándonos en los puntos débiles de la industria, utilizamos tecnología inteligente como base y confiamos en Huawei Cloud FunctionGraph Severless "
En el futuro, Huawei Cloud continuará lanzando productos sin servidor en todo el dominio y cooperará en profundidad con Huawei 2012 Lab, utilizando FunctionGraph 3.0 como núcleo, para crear IA sin servidor con un costo extremadamente bajo y el máximo rendimiento, cumpliendo plenamente con los requisitos ágiles. requisitos de aplicaciones de modelos grandes y ayuda a miles de industrias a utilizar la nube en profundidad.
Haga clic para seguir y conocer las nuevas tecnologías de Huawei Cloud lo antes posible ~
El autor del marco de código abierto NanUI pasó a vender acero y el proyecto fue suspendido. La primera lista gratuita en la App Store de Apple es el software pornográfico TypeScript. Acaba de hacerse popular, ¿por qué los grandes empiezan a abandonarlo? Lista de octubre de TIOBE: Java tiene la mayor caída, C# se acerca Java Rust 1.73.0 lanzado Un hombre fue alentado por su novia AI a asesinar a la Reina de Inglaterra y fue sentenciado a nueve años de prisión Qt 6.6 publicado oficialmente Reuters: RISC-V La tecnología se convierte en la clave de la guerra tecnológica entre China y Estados Unidos. Nuevo campo de batalla RISC-V: no controlado por ninguna empresa o país, Lenovo planea lanzar una PC con Android.