Aumento sin cerebro
Tamaño del modelo
Ya anticuado
Cuando ingresa una pregunta en ChatGPT o en el nuevo Bing, la IA llamará a su cerebro en la nube, pensará en ello y generará una respuesta más razonable.
Cuando OpenAI desarrolló GPT, se mencionó repetidamente que los parámetros se estaban volviendo enormes y la escala del modelo se hacía más compleja con cada generación.
La formación de modelos de lenguaje a gran escala requiere grupos de GPU con una enorme potencia informática y, a medida que el número de usuarios crece exponencialmente, ejecutarlos también consumirá una potencia informática considerable.
Cada empresa que quiere unirse a AIGC primero considera cómo implementar un centro de computación en la nube a gran escala. Parece que la competencia en AIGC se ha convertido en una competencia por recursos de hardware.
Sam Altman, director ejecutivo de OpenAI, imagen de: cableado
Con un centro informático con mayor potencia informática, podrá ejecutar modelos de lenguaje y algoritmos a mayor escala, y el producto final de IA también puede volverse "más inteligente".
Sin embargo, en un discurso reciente en el MIT, el director ejecutivo de OpenAI, Sam Altman, echó un jarro de agua fría a los recién llegados que quieren utilizar "el poder para lograr milagros".
Altman: El escalamiento sin sentido de modelos está obsoleto
"La era de los modelos a gran escala ha llegado a su fin. Necesitamos utilizar nuevas ideas y métodos para que AIGC logre nuevos avances".
Ampliar el tamaño del modelo, utilizar parámetros más complejos y solicitar una mayor potencia informática son básicamente los métodos iterativos que OpenAI ha utilizado en GPT en los últimos años.
GPT-2 tiene aproximadamente 1.500 millones de parámetros, mientras que GPT-3 tiene 175.000 millones de parámetros. Aunque GPT-4 no tiene verificación digital oficial, muchas instituciones también han especulado que utiliza billones de palabras de texto y decenas de miles de computadoras. servidores, el costo de capacitarlos ha superado los 100 millones de dólares.
A medida que crece la influencia de ChatGPT, Microsoft también utiliza su tecnología subyacente para lanzar nuevo Bing.
Posteriormente, Google lanzó Bard y Adobe lanzó Firefly. Además de estas grandes empresas, muchas empresas emergentes bien financiadas en Silicon Valley, como Anthropic, AI21, Cohere y Character.AI, también están invirtiendo locamente para construir algoritmos a mayor escala. para ponerse al día con ChatGPT y OpenAI.
Runway de segunda generación es un éxito de taquilla creado en una frase.
La enorme demanda de recursos de hardware también ha provocado una prisa por comprar GPU NVIDIA A100 y H100.
En eBay, la H100 de Nvidia se ha convertido en un producto de moda, cuyo precio alcanza incluso los 40.000 dólares, mientras que su precio de venta oficial es de sólo 33.000 dólares. Además, el H100 suele venderse en paquetes de 8 para formar un servidor.
Actualmente, no hay otras GPU de terceros que compitan con NVIDIA por las ventas externas. Bajo la ola de la IA, quien tenga más GPU NVIDIA parece tener la clave para ganar en la industria AIGC.
Al igual que el monopolio del capital y el monopolio de las grandes empresas en las industrias tradicionales, la búsqueda del poder informático también ha dado origen al "monopolio del poder informático".
Y Sam Altman también dijo que OpenAI no tiene planes de desarrollar GPT-5. La implicación es que la expansión estúpida de la escala del modelo no permitirá que GPT mantenga iteraciones infinitas.
Actualmente, tanto ChatGPT como el nuevo Bing de Microsoft han encontrado muchos tiempos de inactividad y servicios inestables debido a una potencia informática insuficiente.
Al mismo tiempo, el nuevo Bing no está abierto a todos los usuarios y la situación de "esperar en la fila" aún existe.
Ésta es una de las razones por las que Google no ha podido introducir plenamente una IA generativa similar en sus búsquedas.
Nick Frosst, quien una vez trabajó en IA en Google y ahora es el fundador de Cohere, también dijo que Altman fue muy profético y también dijo que los nuevos diseños o arquitecturas de modelos de inteligencia artificial pueden ajustarse en función de la retroalimentación humana.
Según esta idea, es posible que OpenAI ya esté concibiendo GPT-5 con nuevas ideas.
Musk: caza furtivamente a la gente, compra tarjetas gráficas y forma un equipo para unirse al juego
Incluso si Sam Altman declarara públicamente que en esta etapa continuará siguiendo el antiguo camino de OpenAI y mejorará ampliando la escala del modelo, será difícil alcanzar a ChatGPT.
Pero Musk, que era un viejo amigo de Altman, invirtió decididamente en la industria AIGC.
Según el Wall Street Journal, Musk registró silenciosamente una empresa llamada X.AI Crop, robó a varios investigadores de Google y compró miles de tarjetas gráficas de Nvidia.
El propósito de Musk es claro, que es competir con OpenAI y Google.
Justo después de que se publicaran los informes pertinentes, Musk admitió en una entrevista con Fox News que quería lanzar un producto similar a ChatGPT, llamado TruthGPT.
La intención de Musk es clara: TruthGPT “maximizará la IA en busca de la verdad” e intentará comprender la naturaleza del universo, con la esperanza de generar más beneficios que daños.
La entrevista y la respuesta de Musk son en realidad un poco absurdas. Después de todo, según la escala actual de modelos de lenguaje a gran escala, X.AI Crop puede no ser tan bueno como algunos equipos de nueva creación en Silicon Valley.
Y el nombre TruthGPT parece protestar contra ChatGPT.
Musk siempre ha creído que la IA generativa del tipo GPT-4 tendrá riesgos considerables, y pidió una suspensión de su desarrollo durante seis meses y la introducción de las regulaciones correspondientes.
Incluso dijo que "tiene el potencial de destruir la civilización".
Es solo que mientras hablaba de suspender la investigación, configuré X.AI Crop y comencé a ingresar a AIGC. Es difícil no creer que esto es una exageración.
Además, suspender seis meses de investigación y desarrollo es más como sellar OpenAI, dándote seis meses para ponerte al día con el progreso.
Es innegable que SpaceX y Tesla de Musk han subvertido una industria y se han convertido en las empresas más famosas del momento.
Almizcle y nave estelar
Pero después de abandonar OpenAI, ver los logros actuales y utilizar algunos comentarios controvertidos, demostró que Musk no estaba dispuesto a perder la oportunidad hace mucho tiempo.
En cuanto a si TruthGPT puede estar a la altura de lo que dijo, sólo podemos esperar seis meses para verlo.
Jen-Hsun Huang: Necesitamos una aplicación
Actualmente, la IA generativa sólo existe en cuadros de diálogo y aparece en todos los dispositivos inteligentes actuales de una forma muy clásica.
Ya sea un complemento o una aplicación de terceros, lo que en última instancia interactúa el público son los cuadros de texto de diálogo.
Esta es también la forma más básica de interacción entre humanos y computadoras cuando aparecieron las computadoras por primera vez.
En un podcast de Nicolai Tangen, conversó con el director ejecutivo de Nvidia, Jen-Hsun Huang, sobre cómo la IA cambiará la forma en que las personas viven y trabajan.
El rápido desarrollo actual de la IA es inseparable de la ayuda de las GPU de NVIDIA, que casi ha monopolizado el mercado de potencia de la computación en la nube.
Según el punto de vista de Altman, la IA actual no puede escapar al apoyo de una potencia informática ultraalta, modelos ultragrandes y algoritmos enormes.
Ese es un desafío para las nuevas empresas, pero también es un desafío para Nvidia.
Nvidia necesita desarrollar y fabricar continuamente GPU más potentes para adaptarse al desarrollo de la IA. Y actualmente la IA todavía existe en enormes centros de datos y requiere múltiples supercomputadoras para proporcionar potencia informática.
No es como cualquier aplicación o software anterior. GPT-3 tiene 175 mil millones de parámetros. Frente a tal cálculo, la GPU AI de Nvidia se ha rediseñado desde cero.
Pero actualmente, todavía se necesitan semanas para procesar datos a gran escala y aprender modelos grandes. Todavía no se puede condensar en una aplicación o en una PC personal.
De hecho, esto también explica la promoción hasta ahora de la IA al software, que en realidad existe en forma de nube y complementos.
Nvidia también dijo que la IA ha comenzado a penetrar en el diseño de sus propios chips: "Mientras el arquitecto del chip duerme, la IA sigue iterando, optimizando y mejorando constantemente la arquitectura correspondiente".
"Puede ayudarnos a diseñar y fabricar mejores chips".
En otras palabras, la IA interviene en la producción de chips, y los chips producidos se utilizan en la potencia de la computación en la nube para ejecutar la IA: esto es la autosuficiencia de la IA.
Además, Huang Renxun también cree que la IA también desencadenará la próxima revolución industrial y no despertará por sí sola para reemplazar a los humanos por el momento.
Por el contrario, liberará enormemente mano de obra y aumentará la productividad de todos. Las personas pueden utilizar el lenguaje natural para programar directamente sin tener que aprender los complicados lenguajes Python, Java y C.
Además, también puso como ejemplo a los ingenieros de software de Nvidia: con la ayuda de la IA, entre el 40 y el 50% del código y el software se complementan con IA generativa y los ingenieros sólo necesitan aportar sugerencias e ideas.
Huang Renxun también estimó que la incorporación de IA aumentará 10 veces la productividad de los actuales ingenieros de software de Nvidia.
Función Copilot de Github
La intervención de la IA puede permitir a las personas completar muchas tareas tediosas a una velocidad de 10.000 veces, mejorando indirectamente la productividad.
Antes de la aparición de GPT-4, la industria de la IA podía simplemente confiar en expandir el tamaño del modelo y aumentar la implementación de hardware para mantener iteraciones de alta velocidad.
Con la aparición de cuellos de botella en la potencia informática, OpenAI tuvo que repensar cómo optimizar y encontrar la próxima dirección de desarrollo de la IA.
De manera similar, Huang Renxun también se da cuenta claramente de que la demanda actual de potencia informática de la IA es demasiado grande y debe existir en un lugar con un espacio enorme y muchos chips. La IA actual es como la computadora ENIAC de primera generación del mundo.
El siguiente paso de la IA, si bien reduce la demanda de recursos, también debe reducirse y puede existir de forma independiente en una aplicación o software.
En la actualidad, esto no es realista, pero la buena noticia es que OpenAI ha comenzado a reclutar ingenieros de Android e iOS, y la aplicación correspondiente debería estar disponible pronto.
La razón por la que es difícil replicar los ChatGPT es que además del consumo de tarjetas gráficas, también está el hecho de que las facturas de agua y electricidad son demasiado caras.
El padre de ChatGPT admite que GPT-5 no existe, ¿por qué OpenAI siempre es tan honesto? ｜Descripción detallada de 10.000 palabras
