Con el surgimiento de la inteligencia LLM y el desarrollo explosivo de las API, todos los ámbitos de la vida están prestando atención a cómo hacer un buen uso de los modelos generales y cómo ajustar sus propias aplicaciones industriales. La entrada más importante para LLM son los datos, y la interfaz más frecuente es la base de datos. ¿Qué impacto tendrá la popularidad de las aplicaciones modelo en las bases de datos? ¿Qué nuevos requisitos presenta la era de los grandes modelos para las capacidades y paradigmas de gestión de datos de las empresas?
Centrándose en estos temas, Jian Lirong, cofundador y CEO de Kuker Data, aceptó una entrevista exclusiva con "China Electronics News" para interpretar los cambios y oportunidades en las industrias de computación en la nube y bases de datos en la era de los grandes modelos. El siguiente es el texto completo de la entrevista:
En la actualidad, la tendencia de la industria de reingeniería de IA provocada por modelos grandes se ha vuelto imparable, especialmente para la base de datos subyacente que admite IA. "La rápida aplicación de modelos de lenguaje súper grandes representados por ChatGPT conducirá a grandes cambios en las industrias de bases de datos y computación en la nube", dijo Jian Lirong, cofundador y director ejecutivo de Beijing Kuke Data Technology Co., Ltd. (denominada " Kook Data") recientemente aceptado ", dijo el reportero de China E-News en una entrevista exclusiva.
El auge de los grandes modelos cambiará la dimensión competitiva de los mercados de bases de datos y computación en la nube, y acelerará la tendencia de la arquitectura de TI empresarial hacia el desarrollo distribuido y paralelo. Al mismo tiempo, los modelos a gran escala promoverán la popularización de las múltiples nubes, y se espera que los proveedores de bases de datos independientes con neutralidad y productos que admitan la implementación de múltiples nubes se beneficien de ello.
Todo el enlace de procesamiento de datos será remodelado.
El modelo grande de IA es un modelo basado en datos masivos de múltiples fuentes, necesita capturar conocimiento de una gran cantidad de datos etiquetados y no etiquetados a través de un entrenamiento continuo, y almacenar el conocimiento en una gran cantidad de parámetros para establecer un procesamiento eficiente. de diversas tareas Arquitectura Tecnológica. Tiene muchas ventajas, como propósito general y replicación a gran escala, y es una dirección importante para la realización de AGI (Inteligencia Artificial General).
"'Almacén de datos', 'plataforma de datos' y 'modelo grande' son esencialmente para responder mejor a los problemas de toma de decisiones. En cierto sentido, se complementan entre sí". Jian Lirong dijo que, por un lado, los almacenes de datos son datos avanzados maduros. Las tecnologías de gestión, limpieza y procesamiento paralelo pueden mejorar eficazmente el flujo de procesamiento de los datos de entrenamiento necesarios para entrenar y ajustar modelos grandes; por otro lado, como una plataforma de gestión de conocimiento o datos de hechos naturales, los almacenes de datos pueden proporcionar respuestas correctas para generar AI El contexto requerido resuelve efectivamente el problema de la "ilusión" que prevalece en los modelos grandes. La combinación orgánica de almacén de datos y modelo grande puede ayudar mejor a las empresas a lograr una toma de decisiones auxiliar.
La diferencia es que la forma en que los modelos grandes procesan los datos es obviamente diferente de los principales almacenes de datos y plataformas de datos actuales. Los almacenes de datos y las plataformas de datos a menudo compilan datos sin procesar en tablas bidimensionales y luego realizan la limpieza, la regularización y el procesamiento de finalización de datos y, finalmente, realizan la inteligencia comercial a través de SQL complejo. El modelo grande necesita alimentar continuamente la información del texto original en forma de indicaciones, lo que le permite realizar un aprendizaje profundo, a fin de lograr un procesamiento eficiente de las tareas, que es completamente diferente del almacenamiento y la gestión tradicionales basados en tablas bidimensionales. datos.
Jian Lirong analizó: "El procesamiento de datos tradicional consume mucha mano de obra, recursos materiales y tiempo, y hay muchos enlaces que son muy propensos a errores, como limpieza de datos, análisis de linaje de datos, gestión de datos maestros, calidad de datos, gobierno de datos, ETL, análisis de datos, operación de bases de datos, etc. Wei et al. La rápida aplicación del modelo general de inteligencia artificial representado por ChatGPT mejorará en gran medida la automatización de todos los enlaces en el proceso de procesamiento de datos".
Por ejemplo, Text2SQL (es decir, Text-to-SQL, se refiere al proceso de convertir texto en lenguaje natural en lenguaje de consulta estructurado) utiliza la capacidad de modelos grandes para generar automáticamente lenguaje de consulta estructurado basado en lenguaje natural para completar BI (inteligencia empresarial). ) tareas, mejorar la eficiencia del trabajo de los ingenieros de datos.
Jian Lirong dijo: "La aparición de modelos grandes, por un lado, hace que todos comiencen a pensar en cómo usar las capacidades de los modelos para reconstruir todos los aspectos del enlace de procesamiento de datos para lograr un mayor grado de inteligencia y automatización; por otro lado, Por otro lado, también incita a Todos comenzaron a pensar en cómo adaptar las reglas de procesamiento de datos del almacén de datos y la plataforma de datos al modelo grande, para respaldar mejor el entrenamiento, el ajuste, la implementación, el razonamiento y la aplicación del modelo grande. ”
Se cambiarán los patrones de consumo de recursos de computación en la nube
Como todos sabemos, la clave para el entrenamiento de modelos grandes radica en el poder de cómputo, los datos y los algoritmos. Jian Lirong cree que la plataforma de computación en la nube es la plataforma más adecuada para proporcionar estos tres elementos. Primero, los modelos grandes requieren mucha potencia de cómputo, especialmente GPU de gama alta; segundo, datos masivos, especialmente algunos datos de alta calidad; además, los modelos grandes también necesitan el soporte de algoritmos, Model as a Service se convertirá en un nuevo PaaS Atender. Estos son nuevos requisitos, y también son lo mejor para la plataforma en la nube. Por lo tanto, la aparición de modelos grandes será muy eficaz para impulsar el mercado de la computación en la nube. Al mismo tiempo, los proveedores de la nube con mayor poder de cómputo GPU tendrán más ventajas competitivas.
Jian Lirong señaló que la aparición de modelos grandes tendrá un impacto subversivo en el procesamiento del lenguaje natural, los gráficos por computadora e incluso la conducción autónoma, cambiando toda la pila de tecnología de software y hardware en estos campos, trayendo así un nuevo modelo de consumo de recursos a la nube. mercado de la computación.
Tomando los servicios SaaS como ejemplo, el impacto de los modelos grandes en el código bajo será muy obvio. El valor central del código bajo (o código cero) es resolver los problemas del desarrollo lento de software y el umbral alto a través de la combinación de arrastrar y soltar. Sin embargo, la aparición de modelos grandes ha subvertido todo el modelo de desarrollo de código bajo. "Los escenarios de aplicación que pueden cubrirse con código bajo son limitados, y la pila de tecnología en segundo plano será completamente subvertida por el modelo grande en el futuro", dijo Jian Lirong.
Los modelos grandes como ChatGPT pueden crear aplicaciones directamente a través de descripciones en lenguaje natural, y la IA puede generar códigos mucho más rápido que los humanos e incluso puede continuar sugiriendo mejoras a través del diálogo. Anteriormente, Grammarly, una herramienta de escritura de inteligencia artificial que alguna vez tuvo un valor de $ 13 mil millones, experimentó una fuerte caída en los usuarios del sitio web después del lanzamiento de ChatGPT.
Jian Lirong cree que la promoción a gran escala de las aplicaciones de IA en realidad ha aumentado la dimensión de competencia de la industria de TI, y las diferentes empresas tienen una competitividad diferente en diferentes dimensiones. La capa de TI será más diversa, lo que naturalmente impulsará la popularidad de las múltiples nubes.
En el futuro, la mayoría de los usuarios empresariales ordinarios no tecnológicos solo necesitan llamar al servicio MaaS (Modelo como servicio) proporcionado por los proveedores de la nube para crear sus propios modelos y aplicaciones verticales. Factores como la autonomía y la capacidad de control pueden estar más inclinados a construir su propia plataforma básica para completar tareas de entrenamiento y razonamiento del modelo propietario.
El modelo grande acelera la distribución y paralelización de la base de datos
Con el auge de la "fiebre de los modelos", la gran cantidad de datos ha ejercido presión sobre los recursos informáticos y de almacenamiento, lo que requiere que la propia base de datos esté estrechamente integrada con la tecnología de computación en la nube, y mediante el desacoplamiento de las capas de metadatos, computación y almacenamiento, para que como para dar rienda suelta a la plataforma en la nube Elasticidad y escalabilidad.
Jian Lirong cree que en el contexto de la explosión de modelos grandes, las bases de datos deben proporcionar capacidades de acceso concurrente horizontal y capacidades de análisis y procesamiento de datos de múltiples paradigmas (incluido el soporte para el lenguaje declarativo SQL, el lenguaje procedimental Python/R, la computación gráfica, recuperación de texto, streaming Formula Computing, computación de alto rendimiento, aprendizaje automático e inteligencia artificial) y capacidades de gestión de almacenamiento de datos heterogéneos masivos (datos estructurados, datos semiestructurados, datos no estructurados y datos en tiempo real).
Bajo esta tendencia, los almacenes de datos basados en la arquitectura nativa de la nube se convertirán en una dirección importante para el desarrollo de la industria de bases de datos en el futuro, y las empresas grandes y medianas generalmente eligen un modelo de implementación de múltiples nubes considerando factores como alta disponibilidad y poder de negociación
"Esta tendencia también tiene un impacto significativo en nuestra empresa de base de datos de múltiples nubes. Tomemos como ejemplo nuestro producto principal HashData Cloud Data Warehouse. Al comienzo del diseño, consideramos el escenario de implementación de múltiples nubes al desacoplar diferentes componentes del sistema La dependencia de interfaces específicas facilita la conexión a varias plataformas abiertas en la nube y satisface las necesidades del flujo de datos empresariales en diferentes plataformas en la nube". Jian Lirong dijo: "Ahora estamos desarrollando componentes funcionales que mejoran los datos vectoriales de soporte del almacén de datos HashData. Capacidades de almacenamiento y recuperación de procesamiento Combinado con la alta escalabilidad, alta disponibilidad y alta elasticidad del almacén de datos en la nube, puede admitir y expandir mejor los escenarios de aplicación de modelos grandes ", dijo Jian Lirong.
Al mismo tiempo, la tendencia de distribución y paralelización se acelerará aún más. "La aplicación de modelos grandes acelerará aún más la tendencia de la industria de bases de datos distribuidas y paralelizadas, y distribuidas y paralelizadas en un nivel más profundo y más amplio", dijo Jian Lirong, "Más profundo se refiere a una potencia informática más heterogénea. Los recursos deben ser paralelizados, incluidas las CPU. , GPU, DPU, etc., y más ampliamente se refiere a proyectos similares a "contar de este a oeste", todos los cuales requieren sistemas de datos para brindar mejores capacidades de colaboración y uso compartido".
Además, además del formulario To C como ChatGPT, el modelo grande aparecerá en forma de implementación personalizada e independiente en el mercado empresarial, es decir, todos los ámbitos de la vida e incluso diferentes departamentos de la misma empresa tendrán sus propias instancias de modelos grandes, similares a los expertos de la industria. En este contexto, se requiere la capacidad de integrar aprendizaje profundo y modelos grandes en el núcleo de la base de datos.
"Ya sea que se trate de todos los aspectos del enlace de análisis de datos o de la operación y el mantenimiento de la base de datos en sí, requiere mucho tiempo y depende de la experiencia. Estamos tratando de usar modelos grandes para capacitar a los sistemas expertos en el campo de la base de datos, con la esperanza de mejorar el análisis de datos y la operación inteligente de la base de datos y las capacidades de mantenimiento, para lograr una función similar a la 'conducción automática' dentro del alcance de la base de datos", dijo Jian Lirong.