A partir de 2023, ChatGPT empujará al mundo hacia una nueva era: la era de los modelos grandes. No solo desencadenará la mejora general de la industria de la IA, sino que también permitirá que surjan varios modelos grandes sin cesar. La razón clave detrás de esto es que los modelos grandes generalmente pueden mejorar la productividad, y muchas empresas de la industria están buscando activamente oportunidades para aplicar modelos grandes e IA generativa, con la esperanza de marcar una diferencia en la industria.
De hecho, la razón por la que ChatGPT se llama el "momento iPhone" de la IA es que la IA generativa representada por ChatGPT puede hacer posible que todos ordenen computadoras para resolver problemas y desempeña el papel de ayudar a las personas, servirlas e incluso superarlas. Con este avance tecnológico revolucionario, ChatGPT tomó la iniciativa de desencadenar un auge de aplicaciones en motores de búsqueda y diversas herramientas de software, y despertó el interés de los usuarios de la industria en las tecnologías relacionadas con ChatGPT, la atención y el aprendizaje. Al mismo tiempo, una gran cantidad de aplicaciones posteriores también han capturado nuevas tecnologías y oportunidades industriales. Se espera que a través de varios modelos a gran escala y capacidades de ingeniería, las capacidades de productos similares a ChatGPT se puedan transferir a las aplicaciones originales, de modo que para potenciar mejor la inteligencia digital de las empresas.
Pero también debemos ver que no es un proceso "único" hacer que un modelo grande pase de "existente" a "utilizable". Más empresas generalmente enfrentan recursos de datos limitados, dificultades para invertir en energía informática, mala capacidad de generalización del modelo y El cuello de botella del desarrollo es la escasez de talentos de alto nivel. Es precisamente por esto que para más empresas, un enfoque más "pragmático" en el futuro es elegir un proveedor de servicios modelo a gran escala que se adapte a sus necesidades, "subirse sobre los hombros de gigantes" y "utilizar" mejor las grandes empresas. modelos a escala.
Es precisamente debido a esta demanda urgente del mercado que, como practicante y facilitador de la transformación digital, iSoftStone siempre ha insistido en crear valor para los clientes de la industria con tecnología digital full-stack en los últimos años, especialmente en el campo de los modelos grandes. También explora y practica activamente, con la esperanza de brindar a los clientes de la industria servicios profesionales para la implementación a gran escala de modelos a gran escala y abrir la "última milla" del aterrizaje del modelo acelerará mejor la nueva era de adopción de modelos a gran escala en miles de industrias.
Cuatro desafíos del aterrizaje de modelos grandes
Sin duda, pocos dudan del impacto disruptivo que los grandes modelos tendrán en el futuro. Pero la realidad es que la exploración nacional de modelos grandes aún se encuentra en las primeras etapas. Ya sea en la etapa de investigación y desarrollo, iteración o uso, los modelos grandes son un "lujo" que consume muchos recursos y su uso no es barato. Además del alto costo, las empresas quieren implementar y utilizar modelos grandes en escenarios comerciales reales y también enfrentan muchas dificultades de implementación, como datos, ajuste de parámetros y talentos.
En este sentido, Huo Yu, vicepresidente de la línea de servicios de innovación digital de iSoftStone , dijo que desde este año, iSoftStone ha explorado y practicado activamente en el campo de los modelos a gran escala y descubrió que los modelos a gran escala enfrentan muchos desafíos al implementarlos. en industrias y empresas.Observar desde varias dimensiones:
En primer lugar, desde la perspectiva de la potencia informática, entrenar modelos a gran escala requiere muchos recursos informáticos e inversión de capital, lo que supone un gran desafío para muchas empresas. "Se espera que la inversión de la compañía en la potencia informática básica del modelo grande sea de casi 100 millones de yuanes este año, y continuará en el futuro. En este campo, si necesita formar un producto o solución competitiva, decenas de millones La inversión de capital solo puede considerarse como el umbral inicial. Se puede decir que la potencia informática y los costos de capacitación de los modelos grandes son extremadamente altos, incluidos los grandes modelos industriales y los grandes modelos de campo vertical que a menudo se mencionan ahora, por lo que la potencia informática es un Umbral alto que no se puede evitar”, dijo Huo Yu.
En segundo lugar, desde la perspectiva de los datos, en el caso de la IA generativa, el modelo de lenguaje entrenado debe tener mayor riqueza y complejidad para poder comprender y generar mejor diversas expresiones del lenguaje. Por ejemplo, diferentes idiomas tienen diferentes características, como estructura sintáctica, reglas de uso de vocabulario y relaciones semánticas, por lo que el modelo de capacitación debe incluir más conocimientos y reglas del lenguaje para adaptarse a estas diferencias. Al mismo tiempo, diferentes idiomas también pueden contener algunas expresiones especiales, antecedentes culturales, etc. El modelo de capacitación también debe considerar estos factores para simular y generar mejor varias expresiones lingüísticas. No solo eso, para mejorar la riqueza y la capacidad del modelo, también es necesario utilizar un conjunto de datos en lenguaje real, diverso y más grande para mejorar la capacidad de generalización y la riqueza del modelo, de modo que pueda adaptarse mejor a varios. escenarios de lenguaje y requisitos de aplicación.
En opinión de Huo Yu, el problema del corpus de la capacitación de modelos grandes es esencialmente el problema de la gobernanza de datos empresariales. Por un lado, las empresas deben obtener una gran cantidad de datos disponibles y creíbles; por otro lado, los datos también deben gobernarse para formar una estructura y datos estandarizados para entrenar mejor el servicio de modelo grande requerido.
En tercer lugar, desde la perspectiva de los algoritmos, el desarrollo de modelos de IA comenzó con el lanzamiento de AlexNet, y la mayor parte de la investigación posterior se centró en la exploración de la profundidad y amplitud del modelo. Hasta ahora, modelos típicos como BERT y GPT han Apareció y también se lanzaron modelos de preentrenamiento. En la actualidad, los parámetros de los modelos grandes en China han aumentado a cientos de miles de millones y billones, y su precisión se actualiza constantemente con SOTA.
Pero al mismo tiempo, para las empresas, cómo elegir un modelo de capacitación previa adecuado, cómo realizar ajustes en escenarios y tareas específicos en función de un modelo grande maduro puede producir rápidamente resultados precisos, y si elegir un código comercial o abierto. modelo grande Para los servicios modelo, cómo equilibrar el costo y el efecto de la capacitación también es un problema muy "dolor de cabeza".
En cuarto lugar, desde la perspectiva de los talentos, a medida que más y más empresas comienzan a aplicar ampliamente modelos a gran escala, las necesidades de talento relacionadas se han convertido en un nuevo desafío. Tomando como ejemplo a los entrenadores de IA que realizan gestión de bases de datos, configuración de parámetros de algoritmos, diseño de interacción persona-computadora, seguimiento de pruebas de rendimiento y otras tareas auxiliares en el uso real de productos de inteligencia artificial, los datos relevantes muestran que actualmente existe una gran cantidad de tales talentos. "Es necesario llenar este vacío con urgencia".
No es difícil ver que si bien hemos sido testigos de la profunda integración de los grandes modelos con escenarios e industrias y hemos logrado buenos resultados, se ha comprobado que los grandes modelos no solo se han aplicado en empresas de tecnología, sino que también se han dado pasos hacia miles de Industrias La implementación de grandes modelos no es una cuestión sencilla y aún es necesario resolver los nuevos desafíos planteados por la potencia informática, los datos, los algoritmos y los talentos.
Entrar en el circuito de maquetas a gran escala como servicio
En base a esto, desde principios de este año, iSoftStone ha implementado activamente pistas modelo a gran escala, no solo invirtiendo en la construcción de infraestructura de potencia informática de IA, sino también desde la perspectiva del servicio y la implementación, con la esperanza de confiar en su propia IA. recursos de talento, herramientas de plataforma de IA, ecología de cooperación de IA y la experiencia y metodología acumuladas en la "práctica", y los clientes de la industria para crear servicios modelo a gran escala que se puedan implementar y ayudar mejor a las empresas a dar la bienvenida a la era de las grandes empresas. modelos Específicamente:
En primer lugar, en términos de recursos de talento de IA, esta es la ventaja única de iSoftStone en el ámbito de los modelos a gran escala. Con más de diez años de acumulación de tecnología y experiencia en la industria, la compañía no solo ha podido brindar a los clientes de la industria servicios de tecnología digital "completa" después de incorporar e integrar horizontalmente sus propias capacidades de servicio, sino que también ha acumulado una gran cantidad de Talento digital de calidad de alto nivel.
"Nuestro primer punto de entrada es la dirección de los talentos de IA. Invertimos en una plataforma de potencia informática dedicada como entorno de práctica de ingeniería para que los ingenieros de capacitación comiencen y se familiaricen con modelos grandes. Esto permitirá a los ingenieros y arquitectos de lenguajes de desarrollo relacionados Para jugar con modelos grandes de forma más rápida y competente, espero que a través de la inversión en potencia informática y talentos, puedan abrir la cadena entre modelos grandes, desde productos hasta aplicaciones de aterrizaje, y convertirse en expertos en el campo de modelos grandes. las capacidades de estos recursos expertos no solo se pueden transmitir a más. Por otro lado, para las empresas, también pueden obtener directamente la ayuda de recursos expertos, llevar a cabo directamente el desarrollo de modelos a gran escala requerido por la empresa o proporcionar servicios relacionados. como el ajuste de parámetros", dijo Huo Yu.
En segundo lugar, en términos de herramientas de plataforma de inteligencia artificial, iSoftStone también ha creado la plataforma iSoftStone Tianxuan 2.0 MaaS. Según los informes, basándose en las necesidades de servicios de la industria, la plataforma iSoftStone Tianxuan 2.0 MaaS está integrando la plataforma iSS Model Ops, las herramientas de desarrollo de modelos iSS, la plataforma de servicios de aplicaciones de complementos de escenarios iSS (tienda de complementos de modelos iSS) y otros productos, puede proporcionar a los clientes modelos grandes. procesamiento de datos, servicios de operación integral de modelos grandes, capacitación continua, ajuste, implementación, razonamiento y gestión de activos digitales, seguridad de datos y otros servicios.
Vale la pena mencionar que la plataforma integrada recientemente actualizada de iSoftStone para capacitación y empuje se basa en la base de hardware Ascend, adopta la plataforma de capacitación iSoftStone G420K y la plataforma de razonamiento iSoftStone G210K, integra el sistema operativo Euler y otros componentes, y está equipada con su propia plataforma intermedia de IA. , puede proporcionar a los usuarios una variedad de modelos de IA interactivos, adaptarse profundamente a diferentes escenarios de aplicaciones de IA y puede aplicarse en muchas industrias y campos, como empresas estatales centrales, educación, investigación científica y finanzas.
En tercer lugar, en términos de cooperación en IA, iSoftStone ha establecido una cooperación ecológica con líderes de la industria y fabricantes de modelos a gran escala. No solo es el primero en conectarse a la nube GPT4 de Microsoft Azure, sino que también es un socio ecológico de Baidu Wenxin Yiyan, Huawei Cloud Pangu Model, Ali Tongyi Qianwen, Yuanchengxiang ChatImg2.0, y también está investigando activamente como ChatGLM, Open Obtenga modelos grandes como DeepSpeed Chat, OpenAssistant, Alpaca y LLaMA.
Huo Yu cree que el mayor valor del "diseño" integral de iSoftStone en la ecología de cooperación de IA radica en el hecho de que el equipo ha acumulado mucha experiencia y metodologías mediante el uso de estos servicios modelo comerciales a gran escala de terceros y de código abierto. Modelos grandes. Estas prácticas y experiencias también son de gran valor de referencia y significado de referencia para que los clientes de la industria implementen modelos a gran escala, lo que puede evitar que las empresas tomen "desvíos" en el proceso de implementación de modelos a gran escala. forma "segura" de implementación.
Finalmente, en términos de implementación de modelos a gran escala, iSoftStone también está trabajando con clientes de la industria para promover mejor que las empresas adopten la era de los modelos a gran escala a través de la forma de "cocreación".
"Hoy en día, muchos clientes de la industria han encontrado iSoftStone. Piensan que es difícil para las empresas construir un modelo a gran escala. La ventaja de estos clientes de la industria es que tienen muchos datos de la industria, pero no saben cómo hacer que estos datos se realicen mejor del corpus, o cómo permitir que modelos grandes logren entrenamiento o razonamiento más rápido sobre la base del ahorro de potencia informática, etc. Además, la construcción de modelos industriales a gran escala, la planificación y selección tempranas también son un umbral, y estos son "Exactamente los trabajos en los que iSoftStone es bueno, por lo que las dos partes pueden promover conjuntamente la implementación de modelos a gran escala a través de la creación conjunta. En la actualidad, la compañía ha iniciado una cooperación relevante con muchos clientes en las industrias bancaria y de seguros". Huo Yu dijo.
Como se menciona en el último "Informe de evaluación de la capacidad técnica de modelos de IA a gran escala, 2023" de IDC: "Los usuarios de la industria, al tiempo que prestan atención a la integridad de la pila de tecnología de modelos a gran escala del fabricante, deben centrarse en examinar la experiencia en aplicaciones industriales del fabricante". "El enfoque principal debe estar en la capa de aplicación, aplicar tecnología a escenarios comerciales reales, planificar con anticipación y acumular experiencia y datos de la industria y los escenarios, de modo que podamos 'apoyarnos en los hombros de gigantes' para crear ventajas competitivas diferenciadas". Desde esta perspectiva, las cuatro ventajas acumuladas por iSoftStone en el campo de los servicios de modelos a gran escala sin duda pueden ayudar mejor a las empresas a adoptar modelos a gran escala y acelerar su transformación digital e inteligente.
Supere la "última milla" del aterrizaje
De hecho, el modo de servicio de iSoftStone de "ranurar" una pista de modelo grande es en sí mismo el resultado de una consideración cuidadosa y cuidadosa.
Huo Yu me dijo: "Cuando llegó la ola de modelos a gran escala, lo primero que rechazamos fue construir nosotros mismos una plataforma de modelos a gran escala de uso general, y todavía consideramos comenzar desde la pista de modelos a gran escala en La industria. Los datos y el corpus en la industria vertical también son muy importantes para hacer un modelo de industria a gran escala. Por lo tanto, como empresa orientada a servicios, es más adecuado para iSoftStone ingresar a este mercado en un modo de servicio. Utilice recursos expertos, herramientas de plataforma, así como experiencia y metodología, junto con los recursos de datos en manos de los clientes de la industria, la cooperación entre las dos partes en forma de cocreación puede lograr el aterrizaje de modelos grandes en un tiempo relativamente rápido. forma."
De manera similar, ingresar a la pista de modelos a gran escala con el modelo de "servicio" también le permite a iSoftStone observar y observar todo el mercado de modelos a gran escala desde una perspectiva más "general", y ha acumulado y resumido muchas implementaciones de modelos a gran escala que vale la pena prestar atención a cuestiones clave.
El primero tiene que ver con la selección de modelos grandes comerciales y de código abierto. En este sentido, Huo Yu cree que, según las necesidades comerciales, las empresas chinas también optarán por acceder directamente a modelos comerciales a gran escala o implementar servicios localizados basados en modelos de código abierto a gran escala, al igual que la nube pública y la nube privada. despliegue.
"Dejando de lado el problema de los recursos de potencia informática, si solo nos fijamos en el tamaño de los parámetros del modelo, la capacidad del modelo grande de código abierto es cercana a la del modelo comercial en una escala relativamente pequeña, y gradualmente tiene el impulso para ponerse al día Además, la búsqueda relativa de modelos comerciales generales grandes y completos Para modelos grandes, en términos de capacitación de modelos en campos verticales, el número de modelos de código abierto ha superado al de modelos comerciales, por lo que las empresas no tienen que preocuparse demasiado sobre los grandes modelos de código abierto que van a la zaga de las principales plataformas comerciales de grandes modelos. En el campo de los grandes modelos de la industria, debe decirse que todo el mercado aún no está maduro y todavía se encuentra en la etapa de exploración y práctica, lo que "Requiere que toda la cadena de la industria promueva la madurez gradual del gran modelo de la industria a través de la cocreación y finalmente supere la última milla del aterrizaje", dijo Huo Yu.
En segundo lugar, además de la potencia informática y los parámetros del modelo, las empresas deberían centrarse en la precipitación de datos y corpus. En opinión de Huo Yu, el corpus es de hecho un recurso escaso en la actualidad, pero muchas empresas no se dan cuenta de ello. Si las empresas quieren crear modelos a gran escala en el futuro, los datos y el corpus son problemas inevitables. Es precisamente por esto que la calidad de los datos y el corpus se ha vuelto particularmente importante, y una serie de tareas como la limpieza, el etiquetado y la gobernanza de los datos subyacentes se han vuelto más urgentes.
"Actualmente estamos ayudando a algunos clientes de la industria con el gobierno de datos. Creemos que el trabajo de datos y corpus continuará durante mucho tiempo, pero muchas tareas como el etiquetado de datos y la recopilación de datos se convertirán en 'herramientas + manual'. Al mismo tiempo , estos datos y corpus prestarán más atención a los atributos de la industria. No solo eso, sino que en el proceso de práctica específico, también hemos resumido y precipitado cómo formar una metodología estandarizada para corpus o datos, y cuántos parámetros deben ser "alimentados". ". El corpus puede lograr una relación precio-rendimiento más adecuada, que es lo que está haciendo iSoftStone. Sobre esta base, también somos responsables del establecimiento de reglas comerciales, modelado matemático, ajuste de parámetros y seguimiento de la optimización a largo plazo. "Puede proporcionar servicios relevantes para los clientes de la industria", dijo.
En tercer lugar, la base de datos vectorial también es una dirección importante de atención de iSoftStone. Las bases de datos vectoriales se utilizan principalmente en los campos de la IA y el aprendizaje automático. En estos campos, los datos generalmente se presentan en forma de vectores, lo que puede resolver eficazmente los problemas de almacenamiento y consulta de datos no estructurados como texto, imágenes, audio y video; y en la era de los grandes modelos, la gestión y el procesamiento actuales de datos no estructurados El método principal consiste en convertir el contenido semántico de datos no estructurados en vectores multidimensionales mediante el uso de modelos de incrustación como RNN o Transformer, y almacenar y procesar directamente estos vectores, que pueden usarse para entrenar y aprender modelos grandes. Proporcionar un mejor soporte de datos.
Huo Yu cree que la base de datos vectorial desempeñará tres funciones y valores en el modelo grande, incluido el hecho de que se ha convertido en la tecnología central para promover la iteración y evolución del modelo grande y, al mismo tiempo, también tendrá un Impacto cualitativo en las necesidades de personalización de las empresas Impacto: lo que es más importante, la base de datos vectorial también provocará cambios relativamente grandes en la entrega de futuros proyectos basados en datos.
"Tengo entendido que la base de datos vectorial es otra 'digitalización' de la ciencia de datos. Se puede comparar simplemente con la base de datos original con una estructura de tabla, que está representada por una estructura bidimensional o multidimensional. Luego, la base de datos vectorial utiliza "Por lo tanto, con el desarrollo de la base de datos vectorial, la potencia informática y la tecnología AGI, el modo de entrega de datos futuro cambiará, lo que también producirá un nuevo modelo de negocio, y esto también nos preocupa mucho", dijo Huo Yu.
Mirando hacia atrás, el estilo pragmático de iSoftStone de "las acciones hablan más que las palabras" le ha permitido construir su propia ventaja competitiva única en el sector de servicios modelo a gran escala. La inversión de dinero real en recursos de potencia informática de IA, para una empresa orientada a servicios, está detrás de la demostración de determinación y la comprensión de la tendencia general del mercado. Esto permite a iSoftStone proporcionar suficientes recursos de potencia informática para que los ingenieros y desarrolladores comiencen y acumulen experiencia práctica; el nuevo valor que aporta el modelo.
"En el futuro, continuaremos reservando más recursos expertos, continuaremos invirtiendo en plataformas y herramientas, fortaleceremos la calidad de los datos y el corpus de acuerdo con los escenarios de aplicaciones comerciales del cliente y, en última instancia, mejoraremos la eficiencia de la entrega, con una mejor innovación. modelo de servicio Supere la última milla del aterrizaje del modelo grande ", dijo Huo Yu.
Entre "practicar solo" y "observar desde el margen", iSoftStone eligió lo primero, lo que también le brindó una comprensión y una visión más profunda del mercado de modelos a gran escala. Al mismo tiempo, su audaz práctica en el último período también hizo Tiene más acumulación y precipitación en términos de talentos, herramientas, ecología e incluso metodología, razón por la cual iSoftStone tiene la capacidad y la confianza para permitir que más clientes de la industria aceleren la adopción de la era de los modelos a gran escala.
Shenyao's Science and Technology Observation fue fundada por Shenski, un experto en medios de tecnología, con 20 años de experiencia en la difusión de contenido tecnológico a nivel empresarial y durante mucho tiempo se ha centrado en la observación y el pensamiento de Internet industrial, la digitalización empresarial, la infraestructura de TIC, y tecnología automotriz.
