“符号”与“向量”，AGI的两条腿。
Organizado |
Autor Ricky | Wang Yutong
El 15 de marzo de 2023, se dará a conocer GPT4. Aunque ChatGPT basado en GPT3.5 es más un hito, después de todo, ha desencadenado el uso de usuarios finales C globales, pero a los ojos de más profesionales de IA, la importancia de GPT4 es mucho mayor que 3.5, porque GPT4 tiene la capacidad de hacer asombrosa capacidad de "razonamiento lógico".
Pero, ¿por qué se puede lograr el "razonamiento"? OpenAI, que en el pasado estaba dispuesto a compartir detalles técnicos, es "secreto al respecto" esta vez, lo que hace que los profesionales y usuarios de todo el mundo especulen sobre los principios técnicos.
Gao Xuefeng también es uno de ellos. Su idea es que las "grandes imágenes" y los "grandes modelos" son las dos patas que sustentan el desarrollo de AGI, y las dos son indispensables. Ahora, la industria generalmente reconoce el valor de los modelos grandes y, como resultado, ha surgido una gran cantidad de empresarios de modelos grandes, pero el papel de las "imágenes grandes" en el desarrollo de AGI no está claro.
Gao Xuefeng le dijo a 36 Krypton que el aprendizaje profundo consiste en memorizar y almacenar conocimiento generalizado a través de la probabilidad, que también se conoce como "vector", y el modelo grande es un representante destacado en el campo de la "probabilidad de cálculo"; correspondiente a "probabilidad", La "lógica simbólica" es una implementación representativa del campo del razonamiento lógico, y la teoría de grafos es el mejor soporte para el razonamiento lógico. Desde el punto de vista del producto, cree que al menos en la etapa de ingeniería de indicaciones, el "gráfico" se puede combinar para lograr el propósito de "razonamiento" de GPT4. Los modelos grandes pueden precipitar muy bien el conocimiento generalizado, pero cómo correlacionar el conocimiento generalizado y usarlo para uso humano requiere la participación profunda del sistema de lógica simbólica.
Gao Xuefeng, se desempeñó como decano del Instituto de Investigación de Computación Cognitiva de IBM, gerente general del departamento de productos de IA y big data de Ali, tiene muchos años de experiencia en el desarrollo y comercialización de productos en el campo de las aplicaciones de IA y big data, y ha liderado el equipo. para crear una serie de productos influyentes a nivel internacional. Big data y productos relacionados con la IA. Trabajar en la industria de la IA le dio una idea de la tendencia de la IA, y en 2021 decidió iniciar un negocio en el nivel básico de IA.
Fundada en 2021, Fabarta toma la capacidad de "panorama general" como su núcleo. Al comienzo del negocio, con la cotización de la empresa estadounidense Snowflake con un valor de mercado de hasta 120 mil millones de dólares estadounidenses, también hubo un auge en el emprendimiento de bases de datos en China, pero en ese momento, Gao Xuefeng decidió no hacer datos. Pensó que era la infraestructura de BI, y qué hacer es la infraestructura de AI.
Un año y medio de investigación y desarrollo ha permitido a Fabarta esperar los cambios en la industria. En este momento, Gao Xuefeng cree que lo más importante es unir todas las fuerzas, académicos, modelos a gran escala, partes de aplicaciones e infraestructura. equipos y colaborar para crear un "panorama general" y un "modelo grande" El punto de combinación para hacer una IA china con capacidad de razonamiento real.
01 La capacidad de súper razonamiento de GPT4 proviene de "gráfico"
36 Krypton: Cuando comenzó su negocio en 2021, el GPT3 de OpenAI debería haber aparecido en ese momento.¿Cómo lo reconoció la industria en ese momento?
Gao Xuefeng: En ese momento, el código abierto era GPT2. El ejemplo que todos dieron es: Puedes ver que OpenAI lo ha estado haciendo durante algunos años ¿Qué modelos grandes hay en China?
Cuando estaba en Ali, estaba a cargo de Big Data y productos y soluciones relacionados con la IA. En términos de Big Data, me centré en almacenes de datos y lagos de datos fuera de línea y en tiempo real. Big Data, análisis de datos y relacionados con la IA tecnologías requeridas en el proceso de actualización.
En 2021, el mito creado por Snowflake hizo que muchas personas se dieran cuenta del valor de los almacenes de datos, por lo que muchas instituciones de inversión me dijeron en ese momento: "Xuefeng, estás haciendo almacenes de datos. Los almacenes de datos son el proyecto más popular, y la valoración también puede ser muy alto".
Pero no lo hago. Si fuera un almacén de datos hace cinco o seis años, creo que se podría hacer, porque el almacén de datos es una infraestructura orientada a BI. Pero los tiempos son diferentes En 2021, lo que quiero hacer es la infraestructura central de IA.
Así que les dije a muchos inversores que la base fundamental de AGI en el futuro es la combinación de modelos grandes y sistemas de imágenes grandes. Solo de esta manera puede servir como soporte para la inteligencia artificial general. En ese momento, la mayoría de la gente pensaba que los modelos grandes y las imágenes grandes no eran confiables.
36 Krypton: El panorama general y el modelo general que mencionaste son la base de AGI, ¿cómo lo entiendes?
Gao Xuefeng: La realización de la IA requiere dos sustantivos, uno se llama vector y el otro se llama símbolo, que corresponden al modelo grande y al cuadro grande respectivamente.
Los vectores son probabilidades. El transformador de modelo grande puede entenderse como el cálculo de probabilidades en el campo vectorial, utilizando vectores compuestos por una gran cantidad de parámetros de alta dimensión y calculando probabilidades a través de operaciones matriciales. Después de que una larga cadena de caracteres sea a, predecirá que el siguiente carácter puede ser b, después de b puede ser d, después de d puede ser a, esta es la predicción, y finalmente se genera con texto. Ya sea el Bert anterior o los diversos modelos grandes multimodales basados en Prompts que ahora son muy populares, no cambia su predicción de probabilidad.
Pero no tiene forma de hacer razonamiento lógico, y GPT3.5 no tiene forma de hacer razonamiento lógico.
Por ejemplo, le preguntamos: ¿Quién fue el entrenador subcampeón de los playoffs de la NBA en el año que nació Yao Ming? Esta pregunta aparentemente simple, cuando se coloca en GPT3, responde en un lío. El entrenador era desconocido, y el año estaba mal.
GPT3 puede adivinar la hora y el año correctamente, pero muchos modelos chinos harán esa pregunta en 2002.
36 Krypton: ¿Por qué 2002?
Gao Xuefeng: Yao Ming nació en 1980. 2002 debería ser el momento en que Yao Ming ganó el campeonato de la CBA por primera vez. Habrá mucha información al respecto en Internet. No sé si la pregunta es sobre su cumpleaños o algo.
¿Por qué no le pregunté al campeón? Porque el campeón tiene más publicidad, el subcampeón tiene menos publicidad, y si le preguntas al subcampeón, puede que esté liado. Se trata de probabilidad, ver qué información está en Internet o en el wiki o más.
Pero la capacidad de razonamiento lógico de GPT4 es muy fuerte. Claramente puede desmontar la pregunta que acabo de hacer y responderla con precisión. En la actualidad, parece que solo GPT4 puede hacerlo.
36 Krypton: ¿Cuál es el surgimiento o aplicación de tecnología entre 3.5 y 4 que condujo a este cambio?
Gao Xuefeng: Además de la nueva capacidad multimodal, el núcleo es la mejora de la capacidad de razonamiento lógico. La capacidad de razonamiento de GPT4 se vuelve muy fuerte. Como se acaba de mencionar, el gran modelo es calcular la probabilidad, la lógica simbólica puede ayudar al razonamiento, la teoría de grafos es su mejor apoyo . Esta es la razón por la que necesitamos integrar el poder de los gráficos de conocimiento grandes en lugar de los gráficos de datos pequeños en el sentido tradicional para tener capacidades de razonamiento básicas.
Debe haber muchas capacidades de razonamiento añadidas a GPT4, pero OpenAI no lo hace público y no sabemos cómo integrarlo.
Si le pregunta directamente a ChatGPT "¿Qué partes de las capacidades de su mapa de conocimiento se usan?", responderá " La tecnología de gráficos se usa en el entrenamiento previo y en la clasificación de indicaciones ". Si vuelve a preguntar: "¿Ha utilizado alguna tecnología de gráficos de código abierto?", le dirán que "toda es tecnología de desarrollo propio". No habrá respuesta más tarde.
¿Por qué digo que la mejora significativa en la capacidad de razonamiento de las diferentes versiones de la tecnología GPT debe ser inseparable de la combinación de tecnologías relacionadas con gráficos? Comencemos con un ejemplo y usemos esta pregunta para desafiar a cada LLM: "El año en que nació Yao Ming ¿Quién es el entrenador del equipo subcampeón de los playoffs de la NBA?".
En la actualidad, a excepción de GPT4, otros modelos grandes no pueden dar la respuesta correcta. Sin embargo, si desarmamos la pregunta, "¿En qué año nació Yao Ming?", "¿Quiénes fueron los equipos campeones y subcampeones de los playoffs de la NBA de 1980?", "¿Quién fue el entrenador de los Philadelphia 76ers en 1980?", hay Muchos LLM excelentes pueden dar la respuesta correcta. La razón de esta brecha es que GPT4 realiza un razonamiento lógico simbólico sobre un modelo puramente probabilístico , que definitivamente producirá resultados inesperados.
Sin mencionar que GPT4 puede realizar un razonamiento lógico y fenoménico en muchos campos profesionales, como muchas leyes y reglas científicas clásicas, al menos del ejemplo muy simple que mencionamos anteriormente, las entidades clave en el Token de entrada y su relación lógica En términos de análisis y extracción, creo que se deben usar algunas técnicas relacionadas con gráficos para el procesamiento. Entonces decimos que la implementación de ingeniería que representa símbolos y conexionismo, combinada con la implementación de ingeniería que representa probabilidad y campos vectoriales, puede reflejar una inteligencia cada vez más sorprendente.
La tecnología de gráficos y la tecnología de Transformer se pueden combinar de muchas maneras: 1. La arquitectura de entrenamiento de Transformer recibe datos estructurados en gráficos, lo que permite que el modelo comprenda mejor la relación entre los datos de entrada. 2. Utilice datos estructurados en gráficos para entrenar el modelo de Transformer. 3. Destilación del conocimiento de la estructura gráfica para tratar con el conocimiento experto en dominios subdivididos. 4. El procesamiento de la función de pérdida se combina con la redefinición de la forma de datos del gráfico.
Así como nuestro cerebro humano tiene una característica muy típica, por ejemplo, un día del año pasado, me encontré en un parque con un viejo amigo que no había visto en muchos años, y tuvimos una buena conversación. Luego, la vaga impresión de esta persona (característica del vector), el entorno del parque en ese momento, el clima, la sensación corporal (característica del vector) y lo que estamos haciendo (relación de conexión) serán recordados en el cerebro humano. Cuando estoy en este parque y en un ambiente familiar, puedo pensar en este viejo amigo a través del vínculo que sucedió. Construir un motor informático y de almacenamiento multimodal a gran escala que pueda integrar entidades, sus conexiones y las características vectoriales correspondientes es lo que queremos hacer en el futuro.
36 Krypton: Entonces, de GPT3.5 a 4, no hay más cambios esenciales en el nivel de los vectores, ¿verdad?
Gao Xuefeng: Puede tener más parámetros y una mayor cantidad de datos.
36 Krypton: ¿La razón del salto cualitativo radica en el nivel de los símbolos?
Gao Xuefeng: Sí, así es. GPT tiene la capacidad de razonar, que es lo más aterrador. Por ejemplo, según los principios o fórmulas de la física, si le digo un fenómeno, me dirá qué pasó y te ayudará a hacer inferencias.
Después de todo, cuando salió GPT3.5, ninguno de nosotros sintió que este tipo de cosas cambiarían el mundo de inmediato. Creo que es un proceso inevitable en el que los cambios cuantitativos traerán cambios cualitativos. Incluso después de que salió New Bing, en realidad innovó y cambió los productos en torno a GPT. Por ejemplo, New Bing puede resumir y organizar la información de búsqueda en tiempo real y luego editar las indicaciones adecuadas para llamar a la API del modelo grande para obtener los resultados. Finalmente, organizar los resultados y dar retroalimentación a los clientes sobre el producto. Esta es en realidad la fusión de productos, y no nos sorprendió demasiado.
36 Krypton: Entonces, lo que necesitamos para ponernos al día no es solo el gran modelo.
Gao Xuefeng: Muchos de nuestros grandes modelos locales de código abierto todavía están atascados en el rendimiento de una gran cantidad de datos, avisos y transformadores. Pero la realización real debe ser la fusión de vectores y símbolos, que es también la dirección reconocida por todos académicamente.
Los vectores son probabilidad, la probabilidad es inexplicable, la teoría de gráficos simbólicos es interpretable y la combinación de los dos puede conducir a una inteligencia real. GPT tiene lógica de pensamiento, la probabilidad complementará la lógica de pensamiento, y el panorama general de la lógica de pensamiento verificará la probabilidad, modificará el modelo de parámetro de predicción de probabilidad y aprenderá cosas nuevas en tiempo real y se complementará entre sí. Este es el tipo de inteligencia que necesitamos para la futura inteligencia artificial general.
Esta es también la razón por la que elegimos el camino y la dirección de nuestro negocio, porque el panorama general y el modelo general son las dos piernas de la inteligencia artificial general.
Hemos esperado la explosión de modelos a gran escala, pero actualmente no podemos encontrar un sistema a gran escala con capacidades de computación distribuida, y no hay código abierto, por lo que solo podemos hacerlo paso a paso. Se necesita tiempo para acumular, y no es posible crear un sistema a gran escala de fama mundial en uno o dos años. Un sistema de panorama general que realmente pueda llevar el razonamiento simbólico definitivamente ayudará a la futura IA de propósito general a lograr capacidades de razonamiento muy poderosas.
36 Krypton: GPT4, o en otras palabras, ¿cómo funciona su "capacidad gráfica" en la infraestructura AGI, es similar a un motor?
Gao Xuefeng: Puede considerarlo como un motor gráfico, que puede almacenar datos estructurados por gráficos y realizar una recuperación de alta velocidad en datos estructurados por gráficos. Los motores de búsqueda como Google y Baidu tienen enormes capacidades de imagen como soporte de búsqueda, pero no pueden usarse directamente como productos de propósito general para otras aplicaciones.
Si GPT4 tiene un sistema gráfico, debe estar profundamente integrado en todos los aspectos del proceso de preentrenamiento, y no es algo que se pueda desmontar o extraer. Lo que queremos hacer en el futuro es un motor de panorama general de código abierto con almacenamiento distribuido y rendimiento informático distribuido. También llevaremos a cabo una cooperación profunda con LLM de código abierto o modelos multimodales en el país y en el extranjero para determinar cómo usar las capacidades generales Para respaldar la capacitación previa, la ingeniería rápida o redefinir las capacidades de convergencia de la función de pérdida para una integración profunda. Este debe ser un proceso que necesita tratar de corregir la desviación y luego ajustar.
36 Krypton: Desde su punto de vista, ¿qué debería hacer Datu ahora para ayudar al desarrollo AGI de China?
Gao Xuefeng: Hay muchas tecnologías centrales en él, que aún no se conocen. Esto requiere investigación académica sobre sus puntos de combinación teóricos.Desde el punto de vista de la ingeniería, cooperamos con empresas modelo a gran escala para completar este asunto.
También abriremos código y resolveremos la eficiencia informática distribuida de gráficos grandes. Poca gente hace computación distribuida en el gráfico, pero mucha gente hace el cálculo distribuido de la relación bidimensional del almacén de datos.La razón es que la distribución del gráfico es un problema NP, es decir, un problema matemáticamente irresoluble. No importa cómo divida su gráfico grande en particiones lógicas, la comunicación distribuida no puede lograr una eficiencia óptima. Debido a que la mejor aplicación de los gráficos es el salto múltiple, en el caso del salto múltiple a gran escala, si el punto de partida es un gráfico completamente conectado con 1000 puntos, la ruta de 1000 puntos con 5 saltos y 6 saltos atravesará todos los puntos una vez, y la cantidad de datos es muy grande, es difícil de dividir y el siguiente paso es impredecible . No importa cómo se desensamble, involucra comunicaciones de red frecuentes entre diferentes nodos de cómputo distribuidos.Este es el llamado problema Np de grafos.
Hemos realizado muchas optimizaciones en la implementación de ingeniería. Por ejemplo, mediante el uso de la memoria caché de varios niveles en la memoria de imagen original, es fácil predecir a qué nodos informáticos se debe acceder mediante múltiples saltos y evitar comunicaciones de red frecuentes y tormentas. Esto es lo que hacemos optimización de ingeniería.
Esperamos abrir el motor central en la segunda mitad del año, y debería ser el único sistema de código abierto en el mundo que realmente admita gráficos a gran escala a través de la computación distribuida. En esta etapa, la mayoría de las aplicaciones de gráficos correspondientes todavía se basan en la arquitectura MPP, que no puede lograr la arquitectura típica de almacenamiento de gráficos grandes nativos en la nube y separación de computación y computación distribuida.
02 Ser una tienda de conveniencia al lado de la gasolinera en lugar de otra gasolinera
36 Krypton: Acabas de mencionar la combinación con el modelo grande ¿Hasta dónde hemos progresado ahora?
Gao Xuefeng: También hemos realizado algunos intentos de innovación de Hackathon internamente. Introducir la capacidad de los gráficos en la etapa de ingreso de indicaciones, de hecho, todavía es hacer ingeniería de indicaciones. Creo que este método puede generar rápidamente capacidades de razonamiento para modelos grandes sin capacidades de razonamiento. Creo que sigue siendo una combinación a nivel de producto, un poco como la implementación de New Bing o Copilot de Microsoft Office 365. También se han lanzado nuevos productos en Copilot.¿Has oído hablar del lanzamiento de productos gráficos de Microsoft? Pero ha lanzado un Microsoft Graph, que organiza diferentes documentos o componentes y herramientas de Microsoft en un gráfico, para que diferentes documentos puedan comunicarse entre sí. También es una forma de usar productos para llamar a API de modelos a gran escala para generar valor sinérgico. .
Creo que esto se puede hacer, pero también requiere la capacidad de nuestros gráficos y productos y, lo que es más importante, integrar las capacidades de razonamiento lógico de los vectores, símbolos lógicos y gráficos durante el proceso de formación previa. Esto requiere una práctica continua de ingeniería para saber cómo integrar.
Hágale esta pregunta a cualquier persona en la industria. Quienes hayan estudiado esto sentirán que hay un punto de integración, pero donde el punto de integración necesita que todos intenten juntos.
36 Krypton: ¿Ahora todos todavía están en la etapa de exploración?
Gao Xuefeng: Debemos explorar. Hemos realizado investigaciones académicas conjuntas con algunas universidades de renombre en el campo de la computación gráfica, y los logros académicos por etapas reales pueden publicar muchos de los mejores artículos de revistas.
La exploración común es también la razón principal por la que elegimos el código abierto . Dado que mi motor es el único motor con una arquitectura informática distribuida, solo puedo cooperar con los proveedores de la nube para ganar dinero. ¿Por qué código abierto? Para el propósito final, después del código abierto, todos pueden usarlo para colisionar y probarlo, e incluso si hay una diferencia fundamental en el rendimiento de la arquitectura, como el debate sobre cuándo es compatible con el modelo esperado, sabremos cómo usarla, si es una cosa cerrada, es muy difícil, es difícil formar una fuerza conjunta. Elegir el código abierto no se debe a la transformación comercial a través del código abierto, sino al propósito que realmente desea lograr.
36 Krypton: Acabas de mencionar que en 2021 ya se ha visto la tendencia de la IA ¿Por qué no elegiste hacer un modelo grande?
Gao Xuefeng: Pensé en ese momento que se debe construir una infraestructura de IA. Aunque muchos científicos están haciendo aprendizaje profundo, me resulta difícil encontrar cientos de personas en China, pero creo que es imposible hacer un modelo grande sin cientos de personas.
Además, el costo de los recursos para capacitar a un modelo grande es muy alto, lo que es un obstáculo insuperable para los equipos emprendedores. Lo más importante son los recursos utilizados para el entrenamiento. Ahora todos los recursos de nuestra tarjeta A100 son muy limitados. Muchos campos requieren grupos de tarjetas GPU. Además del entrenamiento y el razonamiento de los grandes modelos de IA de los que todo el mundo habla, conducción automática, finanzas el análisis cuantitativo, etc., todos requieren recursos de GPU. Y ahora los proveedores de la nube también están concentrando sus esfuerzos en hacer modelos a gran escala pertenecientes a China, y cada vez más empresas de nueva creación se están uniendo a este equipo. Los servicios de GPU abiertos por los proveedores de la nube suelen ser servicios públicos de tiempo compartido y es difícil concentrar una gran cantidad de empresas para la capacitación de modelos a gran escala dentro de un período de tiempo.
Esto causará el problema de funcionar con recursos para entrenamiento y razonamiento. Por lo tanto, las grandes fábricas aún tienen ventajas inherentes en cuanto a recursos cuando se trata de fabricar modelos grandes.
36 Krypton: las empresas emergentes todavía necesitan un flujo constante de fuentes de financiación para construir modelos a gran escala.
Gao Xuefeng: En mi opinión, hacer negocios con los clientes con los pies en la tierra y crecer junto con los clientes y la comunidad, esta es la mentalidad que debe tener un To B.
Si hago un modelo grande, puedo quemar todo mi dinero en un instante, y luego no hay un resultado de comercialización obvio, y otros no pagarán por ti.
OpenAI ha experimentado tantos años y quemado tanto dinero porque se define como una organización sin fines de lucro; no fue hasta que Microsoft invirtió en ella que decidió cambiar su principio con fines de lucro. Con un objetivo de beneficio de 100 veces el beneficio de la inversión, vaya a cosas sin fines de lucro.
Sin embargo, para montar una empresa todavía hay que ir en la dirección de la comercialización , por lo que son muy pocas las empresas extranjeras que han salido, y la que realmente destaca es OpenAI, que es un modelo a gran escala.
36 Krypton: ahora ha llegado el auge del espíritu empresarial a gran escala y todas las empresas quieren convertirse en la versión china de OpenAI.
Gao Xuefeng: Los modelos grandes no son algo fácil de replicar, y OpenAI también ha experimentado muchos giros y vueltas.
En los primeros días de Open AI, se trabajó mucho en tareas aburridas como indicaciones y diseño, y la tecnología Transformer ha existido durante mucho tiempo, como el anterior Bert, etc. también se basan en transformadores, por lo que la industria tiene muchos esfuerzos en algoritmos.También van por este camino.
Así que no es que un modelo grande sea algo fácil de copiar, no creo que se pueda hacer con cientos de millones de RMB. Para entrenar un modelo con cientos de miles de millones de parámetros, como GPT3.5 o GPT4, la suma de varios costos definitivamente requerirá cientos de millones de dólares, lo cual es imposible de cambiar.
Ahora también hay algunas empresas que se especializan en la optimización de frameworks y entrenamiento distribuido, tratando de encontrar formas de hacer modelos grandes con muchos parámetros que requieran cada vez menos recursos. Pero no se puede optimizar mucho, y no tiene forma de cambiar la magnitud. Por lo tanto, el desarrollo de la tecnología o el modelo de LLM, antes de generar valor comercial e ingresos, primero genera muchas ganancias de ingresos y perspectivas de desarrollo para los fabricantes de GPU como Nvidia.
Otra cosa que es segura es que el aumento en el consumo de energía conducirá al calentamiento global.
36 Krypton: Hace dos días, vi noticias de que el consumo de electricidad diario actual de GPT era igual al de una pequeña ciudad en los Estados Unidos.
Gao Xuefeng: Sí. Por lo tanto, es muy desafiante hacer un modelo grande, ya sea algoritmo, optimización, integración de datos, implementación de recursos informáticos y, por supuesto, soporte financiero continuo, es muy desafiante.
36 Krypton: Todavía hay una controversia ahora, es decir, código abierto o código cerrado para modelos grandes.
Gao Xuefeng: He prestado atención a esta controversia en la comunicación con algunos técnicos en el círculo. Personalmente, creo que el modelo grande de código cerrado tiene ciertas limitaciones, y creo que surgirán LLM o LLM en varios campos de código abierto. Rápidamente Maquetas genéricas multimodales e incluso maquetas propietarias en diferentes campos especializados.
¿Por qué el código cerrado es limitado? Uno es relativamente más caro. La segunda es que el código fuente cerrado es una ecología cerrada, por lo que es difícil generar valor comercial por etapas y un buen potencial comercial futuro.
Creo que en el campo de la IA, las capacidades de ingeniería verdaderamente distribuidas son muy importantes. Creo que tanto una buena plataforma de IA de ingeniería como una plataforma pública que lleve muchos modelos grandes de código abierto excelentes son valiosas .
Por ejemplo, Hugging Face en Estados Unidos, creo que su potencial debería ser aún mayor. Con más y más ecología de modelos, existe la necesidad de que una comunidad vincule diferentes modelos con sus usuarios potenciales, entrenadores, optimizadores y otras personas con diferentes roles. Esta energía se puede comparar con la economía de marca en ese momento, como Tmall de Alibaba, que vincula productos y consumidores en la plataforma. Ali hizo ModelScope y también quería realizar la intención y el propósito originales de Hugging Face. Aunque los ingresos actuales de Hugging Face no son muchos, si realmente quiere obtener ganancias, generará muchos ingresos en un instante. Puede ver las descargas de los diversos modelos anteriores, que ponen mucho trabajo sólido para ayudar a optimizar el modelo para que sea utilizable.
Por lo tanto, en un campo segmentado tan grande, debe haber muchas oportunidades para hacerlo, y no todos tienen que hacer modelos grandes. En China, mucha gente se apresuró a hacer modelos grandes y recaudó mucho dinero. En Estados Unidos apareció una gasolinera, que era particularmente rentable, así que cerca de la gasolinera aparecieron restaurantes de comida rápida y pequeños hoteles, y poco a poco se formó un pequeño pueblo al lado de la gasolinera; a su vez, una escena típica en China es que a Las gasolineras son muy rentables, y habrá más de una docena de gasolineras alrededor, vaciando el terreno.
Después de que salió GPT, surgieron en los Estados Unidos muchas plataformas de ingeniería de propósito general de IA y grandes modelos de varios campos subdivididos. Aunque no es un modelo grande de propósito general como OpenAI, el efecto es muy bueno en el campo de la subdivisión. El parámetro no necesita ser tan grande, alcanzando una escala de decenas de miles de millones o casi 100 mil millones, pero puede optimizarse. Debido a que es un campo específico, no es completamente universal, y la fuente de datos será más fácil, no hay necesidad de encontrar tantos datos públicos y libros como OpenAI, y hay requisitos extremadamente altos para la calidad de los datos.
El código abierto puede acelerar el desarrollo ecológico .
36 Krypton: Ahora hay muchas empresas emergentes y grandes fábricas que fabrican modelos a gran escala en China. ¿Habrá un problema de recursos dispersos?
Gao Xuefeng: En la actualidad, el poder de cómputo es el más difícil de superar para China, y las reservas de científicos también son insuficientes. Pero en comparación con el poder de cómputo, China debería tener cada vez más ventajas en el campo de los datos. El volumen de datos de China ahora representa el 9,9% del total mundial, y puede representar el 20% del total mundial en cuatro años. Si puede Ser utilizado para el entrenamiento de modelos grandes de estado multimodo es definitivamente muy beneficioso para el desarrollo del modelo grande de China.
Y el establecimiento de Big Data Bureau este año es una muy buena noticia para los profesionales de nuestra industria.
03 En la era de la IA, debes tener tu propia Infra
36 Krypton: ¿Cuál es la relación entre el motor de gráficos y la base de datos de gráficos?
Gao Xuefeng: Definimos el producto de Fabarta como un motor para la integración de consultas interactivas distribuidas por gráficos y computación de gráficos, y no lo definimos como una base de datos de gráficos. Para satisfacer la comprensión de todos, lo compararé con la capacidad de base de datos distribuida de la integración de Big Picture TP y AP, pero de hecho es más apropiado definirlo como "un motor que integra almacenamiento de datos de imágenes, consulta interactiva y algoritmos de computación gráfica".
La base de datos es un concepto muy amplio. En la actualidad, muchas bases de datos de gráficos también pueden resolver problemas actuales. Sin embargo, los productos de código bajo, como las plataformas de análisis de gráficos, son necesarios para que los clientes los utilicen bien, de lo contrario, enfrentarán muchos problemas. Pero no puede evolucionar directamente al mar de estrellas que quiero. Las bases de datos relacionales y los almacenes de datos se componen de varios motores, como motores de almacenamiento, motores informáticos y motores de análisis. La base de datos es más como un gran concepto. Los diversos motores que procesan datos relacionales trabajan juntos y pueden denominarse base de datos. Los diversos motores que procesan datos no relacionales, como los datos de gráficos, se agregan y también pueden denominarse base de datos.
La base de datos es solo un sustantivo . Ahora, pan-database es más como un sinónimo de infraestructura, y se llama base de datos para varios cálculos y procesamiento de almacenamiento de datos. Las bases de datos No SQL, las bases de datos de series temporales y las bases de datos multimodo son bases de datos que almacenan varios tipos de datos.
La computación de gráficos original está completamente separada de la base de datos de gráficos.La computación de gráficos es una variedad de algoritmos académicos, IA explicable y luego un marco de computación distribuida, que no tiene nada que ver con la base de datos. Las bases de datos de gráficos se utilizan para el almacenamiento de datos, la consulta de datos de saltos múltiples y el análisis de SQL y otras tareas además de los datos. Este es el rendimiento de la separación entre la base de datos de gráficos y la computación de gráficos.
Creo que ya sea que el motor o la base de datos sean solo un concepto, la infraestructura de la IA requiere la cooperación del motor de imagen general y el modelo general para funcionar.
En cuanto al concepto de infra, de hecho, no todos tienen necesariamente un consenso. El concepto de infraestructura tradicional proviene del sistema de proveedores en la nube, pero en la actualidad, la IA no tiene la capacidad general de generar agua, electricidad y gas, por lo que no necesita tener su propia "infraestructura".
Pero en el futuro, la IA se convertirá en el verdadero agua, electricidad y gas en el futuro, lo cual creo firmemente. Después de que salió el gran modelo, todos comenzaron a hablar sobre la infraestructura de IA. Algunas personas equipararán la infraestructura de IA con un modelo grande. No estoy de acuerdo. Esta no es la base para el futuro de la inteligencia artificial general.
Así que siempre he dicho que la integración profunda de modelos a gran escala y de gran escala es la Infra de AGI en el futuro.
36 Krypton: Algunas personas piensan que el rápido crecimiento de la IA desplazará ciertos mercados de computación en la nube.
Gao Xuefeng: Si las tecnologías bajo IA, como imágenes grandes y modelos grandes, se vuelven infraestructura real, deben ser nativas de la nube. Debido a que requiere una expansión elástica, debe colocarse en la nube.¿Cómo puede ocupar los recursos de la nube? El razonamiento de modelos a gran escala requiere GPU, lo que definitivamente hará que el mercado de la nube sea más grande.
También depende de cómo se defina el mercado.Si está orientado tradicionalmente al flujo de trabajo de ERP o indicadores de análisis estadístico de BI para analizar almacenes de datos tradicionales, o juegos tipo TP, creo que esta parte del mercado es el mercado de la nube existente, y lo hará. definitivamente ser desplazado. .
36 Krypton: ¿Cómo te alimentas mientras innovas?
Gao Xuefeng: el motor de base de datos de gráficos distribuidos nativo de la nube de Fabarta construido sobre múltiples nubes puede almacenar y analizar los datos de diferentes fuentes de datos y la relación entre los datos en forma de gráficos, basado en la combinación de capacidades de código bajo de Fabarta plataforma de análisis de gráficos La precipitación de marcos y algoritmos de análisis de gráficos en la industria puede ayudar mejor a los clientes de nivel empresarial a crear análisis de escenarios basados en gráficos (control de riesgos, marketing, operación y mantenimiento inteligentes, gráficos de conocimiento de la industria, etc.).
36 Krypton: Es decir, su negocio actual en realidad se divide en dos partes, una parte es un motor gráfico + un producto de código bajo para los clientes, y la otra parte es un producto gráfico grande combinado con LLM.
Gao Xuefeng: Puedes entenderlo en tres partes:
Una es la capa superior, que es la integración profunda de gráficos y escenarios subdivididos, como Data Fabric, la plataforma de datos de última generación.Este mercado es infinito, porque ya no es posible que todos concentren los datos. Además, el desarrollo integrado de lagos y almacenes dará lugar a una fragmentación cada vez mayor de los datos en diferentes lugares, y no hay forma de gestionarlo. Primero hago un mapa de activos de datos basado en la organización de datos gráficos, y gradualmente lo incorporo al Data Fabric de próxima generación para resolver el problema de la computación colaborativa entre datos descentralizados y heterogéneos.Este es un mercado con estrellas y mares.
En el medio está el flujo de trabajo inteligente. Después de que salgan a la luz las capacidades del modelo grande actual, ¿se volverá inteligente el flujo de trabajo existente de la empresa? No, todavía existen muchos desafíos para integrar las capacidades de la IA en el flujo de trabajo de las empresas, por lo que la plataforma de código bajo primero debe hacer esto paso a paso. Abstraemos y precipitamos las capacidades de varias consultas de patrones y análisis de algoritmos de datos gráficos en la plataforma, luego organizamos componentes comerciales y generamos valor comercial a través de métodos de código bajo y sin código, y finalmente los generamos directamente a través de App Builder Los componentes de la aplicación que puede aportar valor a los usuarios primero permite la transformación inteligente del flujo de trabajo empresarial a través de IA explicable y luego integra otras capacidades de IA para crear un flujo de trabajo inteligente de la empresa.
El motor final es una de las futuras infraestructuras centrales de la inteligencia artificial general. Para eso estamos trabajando.
Nota del editor: este artículo es de la cuenta oficial "Digital Time Krypton" (ID: digital36kr), la cuenta oficial de 36 Kr. Autor: Wang Yutong, Fabarta está autorizado a publicar.