Directorio de artículos
gran modelo de moda
En la pista de Internet de este año, la "clase superior" no es otra que los modelos grandes. El "Informe de investigación de mapas de modelos a gran escala de inteligencia artificial de China" publicado por el Centro de investigación de desarrollo de inteligencia artificial de nueva generación del Ministerio de Ciencia y Tecnología a fines de mayo muestra que 79 modelos a gran escala con una escala de más de mil millones Los parámetros en mi país han sido liberados, casi entrando en la "Guerra de los Cien Modelos".
Se han lanzado Wenxin Yiyan de Baidu, Tongyi Qianwen de Ali, modelo grande Xunfei Xinghuo, ChatGLM de Zhipu AI, etc. Desde entonces, Meituan, Baichuan Intelligent, Yunzhisheng, Meitu, Tencent... Las empresas de tecnología nacionales que se han unido recientemente a la pista de modelos a gran escala han surgido una tras otra, y la "carrera armamentista" en torno a los modelos a gran escala se ha vuelto cada vez más feroz. .
gran modelo de aterrizaje
Después de que ChatGPT desencadenara el auge de la IA, Microsoft se ha convertido en una de las empresas más importantes de esta ola. No solo porque es el principal accionista de OpenAI, o porque lanzó New Bing con la bendición de AI.
Más importante aún: como el proveedor de servicios de sistemas operativos más grande del mundo, el desarrollador de software de oficina más grande del mundo y el segundo proveedor de servicios en la nube más grande del mundo, Microsoft incluso propuso que "todos sus productos se integrarán con componentes de modelos a gran escala, abarcando completamente el gran modelo aterrizó " .
En el Foro Zhongguancun 2023, Li Yanhong tomó el título de "Los modelos grandes cambian el mundo" y también propuso que "Baidu será la primera empresa en rehacer todos los productos, no integración, no acceso, pero rehacer, refactorizar... "
Se predice sin ceremonias que todos los servicios futuros estarán orientados o se basarán en "modelos grandes" para proporcionar servicios de productos.
Entonces, ¿cómo deberían diseñarse o refactorizarse los servicios para el futuro "gran modelo"?
diseño de servicios o refactorización
Para respaldar la llamada del "modelo grande", el servicio debe reubicarse y convertirse en una "base". La base aquí puede entenderse como el punto de apoyo del "modelo grande": el rendimiento de los datos objetivo.
El poderoso "modelo grande" redefine la interacción humano-computadora. Analice las necesidades de los usuarios en un corto período de tiempo y brinde servicios específicos de acuerdo con las necesidades. El modo de interacción actual de activación manual de la interfaz estática de la aplicación por parte del usuario está roto. Se convierte en la activación de interfaces de servicio de destino único o múltiple después de la apelación del análisis de IA del "modelo grande", y finalmente resume y adapta los datos de respuesta de cada uno. servicio Producir funciones de servicio.
Por ejemplo: en la escena del mapa,
invitado A: Ayúdame a planificar la ruta de viaje de Beijing para el 11 de octubre...
Mapa: Atracciones de Beijing -> Tiempo para el día 11 -> Calificaciones de atracciones -> Disposición del orden de navegación apropiado entre las atracciones - > …
En base a las características de esta interacción, combinadas con varios conceptos técnicos como distribuidos y microservicios en la nube nativos, podemos refactorizar, actualizar o rediseñar servicios.
Arquitectura de servicios futuros
microservicio
Para admitir el modo de interacción del "modelo grande" en el futuro, puede cumplir con varios ensamblajes y ensamblajes de servicios arbitrarios. Necesitamos encapsular los servicios en la granularidad más pequeña, lo que también continúa con la idea central de los microservicios.
Estratificación
Cabe señalar aquí que el modo de interacción actual todavía existe. Queremos usar el costo mínimo para fusionar y admitir los dos modos de interacción. Entonces es necesario introducir una idea de diseño "en capas" para abstraer y diferenciar diferentes modos de interacción en diferentes capas lógicas.
Aquí hay un patrón, de la siguiente manera:
Arquitectura de aplicaciones de modelos grandes
El patrón arquitectónico se divide en capa de entrada, capa de llamada de resultado de modelo grande, capa de protocolo, capa de cohesión empresarial, capa de acceso a datos y capa de llamada de microservicio.
Diagrama de diseño de arquitectura
Como se muestra en la figura anterior, cada capa lógica:
- Nivel Básico
- Complete la tarea de registro de middleware y brinde soporte de capacidad básica para las funciones de servicio posteriores. Incluir
- Autenticación de token de interfaz [Sign plus salt mode],
- Captura de excepción de servicio [middleware Panic Recover: captura excepciones de servicio para evitar que el programa principal entre en pánico],
- Registro del servicio de monitoreo [colección de indicadores Prometheus],
- Registrar el middleware [inicializar la función de registro, imprimir el registro de acceso Access_log],
- Registro de servicio de malla [Malla de servicio sin proxy para fusión de tráfico y limitación de corriente, evitando avalancha de llamadas...]
- Complete la tarea de registro de middleware y brinde soporte de capacidad básica para las funciones de servicio posteriores. Incluir
- Capa de llamada de modelo grande
- Proporcione la capacidad "base" para el modelo grande y proporcione la capacidad de llamada API del servicio correspondiente en función de los resultados de salida del modelo grande. Contiene protocolos de granularidad de dos servicios compuestos y de un solo protocolo
- capa de protocolo
- Contiene dos tipos de protocolo compuesto y protocolo único, que proporciona salida de datos de contenido para llamadas comerciales y de modelos grandes.
- Protocolo único, interfaz API para encapsulación de granularidad mínima de servicio
- Protocolo compuesto, interfaz API encapsulada después del ensamblaje para múltiples servicios
- Contiene dos tipos de protocolo compuesto y protocolo único, que proporciona salida de datos de contenido para llamadas comerciales y de modelos grandes.
- capa de cohesión empresarial
- Es la capa de agregación de servicios correspondiente al protocolo compuesto. Realice la orquestación en serie/paralelo de múltiples servicios en esta capa y proporcione datos de agregación de servicios externamente
- capa de recorte de datos
- Por encima de la capa de llamada de servicio, es una encapsulación independiente de los datos de solicitud y respuesta de cada servicio.
- Capa de llamada de microservicio
- Llamadas de servicio completas basadas en múltiples protocolos de comunicación
- Además, son piezas de Util y de Herramienta
- A lo largo del servicio, proporcione capacidades públicas y soporte de capacidades relacionadas con la observabilidad y la estabilidad.
Implementación de demostración de arquitectura
//篇幅有限，见后续博文
resumen
Bajo la situación actual de competencia cada vez más feroz y complejidad y cambio global, las empresas y los equipos pueden convertirse en los ganadores finales solo si aprovechan las oportunidades y hacen los arreglos por adelantado, ¡y tienen una competitividad ágil absoluta!