Fuente | Tencent Technology ID | qqtech
En la ceremonia de apertura de la Conferencia Zhiyuan de Beijing el 9 de junio de 2023, Yann Lecun, uno de los tres gigantes del aprendizaje automático, pronunció un discurso a distancia y publicó un discurso titulado "Hacia las máquinas que pueden aprender, pensar y planificar" (Towards Machines que puede aprender, razonar y planificar).
Como persona que se ha burlado de ChatGPT desde su nacimiento, creo que no tiene nada nuevo. En la conferencia de hoy, Yang Likun, quien estaba en París a las 4 de la mañana, todavía estaba lleno de espíritu de lucha. En su discurso, mostró su lógica de contrarrestar GPT: los modelos autorregresivos no son buenos en absoluto, porque tienen sin capacidad para planificar y razonar. Un modelo de lenguaje grande que genera modelos autorregresivos basados puramente en la probabilidad no puede resolver fundamentalmente el problema de las alucinaciones y los errores. A medida que aumenta el tamaño del texto de entrada, la posibilidad de error aumenta exponencialmente.
Los actualmente populares AutoGPT, LOT y similares parecen ser capaces de desensamblar tareas, y el modelo de expansión del lenguaje que explica problemas complejos paso a paso hace que el modelo de lenguaje grande parezca una planificación nuevamente. Yang Likun también se burló de esto, pensando que solo están usando la búsqueda y otras herramientas para parecer capaces de planificar y razonar, sin confiar en absoluto en su propia comprensión del mundo.
Rendimiento asombroso, pero uso limitado. No es tan inteligente como los seres humanos en absoluto, y hay errores que no se pueden resolver. Este es el juicio de Yang Likun sobre la inteligencia artificial actual.
Entonces, ¿dónde está el siguiente paso en inteligencia artificial si quiere conducir a AGI?
La respuesta dada por Yang Likun es el modelo mundial. Un modelo que no solo imita el cerebro humano a nivel neuronal, sino que también se ajusta completamente al modelo mundial del cerebro humano en términos de módulos cognitivos. La mayor diferencia entre este y el modelo de lenguaje grande es que puede tener capacidades de planificación y pronóstico (modelo mundial) y capacidades de contabilidad de costos (módulo de costos).
A través del modelo mundial, puede comprender verdaderamente el mundo y predecir y planificar el futuro. A través del módulo de contabilidad de costos, combinado con un requisito simple (el futuro debe planificarse de acuerdo con la lógica que ahorre la mayor cantidad de costos de acción), puede eliminar todo el envenenamiento potencial y la falta de confiabilidad.
Pero, ¿cómo se realizará este futuro? ¿Cómo se aprende el modelo del mundo? Yang Likun solo dio algunas ideas de planificación, como usar un modelo autosupervisado para el entrenamiento, como establecer un modo de pensamiento de niveles múltiples. También admitió que ningún entrenamiento de aprendizaje profundo ha hecho esto antes, y nadie sabe cómo hacerlo.
El profesor Zhu Jun de la Universidad de Tsinghua miró este modelo y probablemente estaba un poco confundido, esta arquitectura es demasiado similar al modelo ideal de la escuela simbólica de la inteligencia artificial tradicional. En la sesión de preguntas y respuestas, también preguntó si consideraba la posibilidad de combinar simbolismo y aprendizaje profundo.
Esta canción una vez desafió la regla del simbolismo de Minsk durante más de diez años. Yang Likun, quien aún insistía en el camino del aprendizaje automático cuando nadie lo reconocía, dio una respuesta simple: "La lógica simbólica no es diferenciable, y los dos sistemas son no compatible."
El siguiente es el discurso central del informe de Yang Likun y la transcripción de todo el control de calidad con el profesor Zhu Jun compilado por el editor de Tencent News:
Las trampas del aprendizaje automático
Lo primero que diré es esto: el aprendizaje automático no es particularmente bueno en comparación con los humanos y los animales. Durante décadas, hemos estado utilizando el aprendizaje supervisado, que requiere demasiadas etiquetas. El aprendizaje por refuerzo funciona bien, pero requiere mucho entrenamiento para aprender cualquier cosa. Por supuesto, en los últimos años, hemos estado utilizando mucho el aprendizaje autosupervisado. Pero resulta que estos sistemas no están muy especializados en alguna parte, y son frágiles, cometen errores estúpidos, en realidad no razonan, no planifican. Por supuesto, su respuesta es realmente rápida. Y cuando los comparamos con los animales y los humanos, los animales y los humanos pueden hacer nuevas tareas extremadamente rápido y comprender cómo funciona el mundo, pueden razonar y planificar, tienen un nivel de sentido común que las máquinas todavía no tienen. Y este es un problema que se descubrió en los primeros días de la inteligencia artificial.
Esto se debe en parte al hecho de que los sistemas de aprendizaje automático actuales tienen esencialmente un número constante de pasos computacionales entre la entrada y la salida. Es por eso que realmente no pueden razonar y planear como los humanos y algunos animales. Entonces, ¿cómo hacemos que las máquinas entiendan cómo funciona el mundo y predigan las consecuencias de sus acciones como lo hacen los animales y los humanos, que sigan cadenas de razonamiento con un número infinito de pasos, o que planifiquen tareas complejas dividiéndolas en secuencias de subtareas?
Esa es la pregunta que quiero hacer. Pero antes de llegar a eso, permítanme hablar un poco sobre el aprendizaje autosupervisado y cómo realmente se ha apoderado del mundo del aprendizaje automático en los últimos años. Esto se ha defendido durante bastante tiempo, siete u ocho años, y realmente sucedió, y muchos de los resultados y el éxito del aprendizaje automático que vemos hoy se deben al aprendizaje autosupervisado, especialmente en el procesamiento de lenguaje natural y texto. aspectos de comprensión y generación.
Entonces, ¿qué es el aprendizaje autosupervisado? El aprendizaje autosupervisado es la idea de capturar dependencias en las entradas. Por lo tanto, no estamos tratando de mapear la entrada con la salida. Solo se nos da una entrada. En el paradigma más común, cubrimos una parte de la entrada y la alimentamos a un sistema de aprendizaje automático, luego revelamos el resto de la entrada y luego entrenamos el sistema para capturar la diferencia entre lo que vemos y lo que no hemos visto. dependencias vistas. A veces se hace prediciendo lo que falta, a veces no del todo.
Y esto se puede explicar en unos minutos.
Esta es la idea del aprendizaje autosupervisado. Se llama autosupervisión porque básicamente usamos métodos de aprendizaje supervisado, pero los aplicamos a la entrada en sí, en lugar de hacer coincidir una salida separada proporcionada por un ser humano. Entonces, el ejemplo que muestro aquí es una predicción de video en la que le muestra a un sistema un breve clip de video y lo entrena para predecir lo que sucederá a continuación en el video. Pero no se trata sólo de predecir el futuro. Podría ser el tipo de datos en el medio del pronóstico. Este tipo de enfoque ha tenido un éxito asombroso en el procesamiento del lenguaje natural, y todo el éxito que hemos visto recientemente en modelos de lenguajes grandes es una versión de esta idea.
De acuerdo, dije, esta técnica de aprendizaje autosupervisado implica tomar un fragmento de texto, eliminar algunas palabras de ese texto y luego entrenar una red neuronal muy grande para predecir la palabra que falta. Al hacerlo, la red neuronal aprende una buena representación interna que puede usarse para alguna tarea supervisada posterior, como traducción o clasificación de texto, o algo por el estilo. Así que ha sido increíblemente exitoso. También tienen éxito los sistemas de inteligencia artificial generativa para generar imágenes, videos o texto. En el caso del texto, estos sistemas son autorregresivos. En lugar de predecir palabras que faltan al azar, usamos el aprendizaje autosupervisado para predecir solo la última palabra. Entonces, toma una secuencia de palabras, enmascara la última palabra y entrena al sistema para predecir la última palabra.
No son necesariamente palabras, sino unidades de subpalabras. Una vez que el sistema está entrenado en una gran cantidad de datos, puede usar lo que se llama predicción autorregresiva, que implica predecir el siguiente token, luego transferir ese token a la entrada, luego predecir el siguiente token y luego transferirlo a la entrada. y repetir el proceso. Eso es lo que son los LLM autorregresivos, y eso es lo que hemos visto hacer en modelos populares en los últimos meses o años. Algunos de estos son de mis colegas en Meta, en FAIR, BlenderBot, Galactica y Lama, que son de código abierto. Alpaca de la Universidad de Stanford es una mejora sobre la base de Lama. Lambda, Bard de Google, Chinchilla de DeepMind y, por supuesto, Chet, JVT y JVT4 de OpenAI. Si los entrena en algo así como un billón de textos o dos billones de textos, el rendimiento de estos sistemas es fenomenal.
Pero al final, cometen errores realmente estúpidos. Cometen errores de hecho, errores lógicos, inconsistencias. Sus habilidades de razonamiento son limitadas, usan contenido envenenado y no tienen conocimiento de la realidad subyacente porque han sido entrenados únicamente en texto, lo que significa que una gran parte del conocimiento humano está completamente fuera de su alcance. Y realmente no pueden planear sus respuestas. Hay mucha investigación sobre esto. Sin embargo, estos sistemas funcionan sorprendentemente bien como ayudas de escritura y también como generadores de código para ayudar a los programadores a escribir código.
Entonces puedes pedirles que escriban código en varios idiomas y funciona muy bien. Le dará un gran punto de partida. Puede pedirles que generen texto e igualmente pueden ilustrar o ilustrar la historia, pero eso hace que el sistema no sea tan bueno como un sistema de recuperación de información o como un motor de búsqueda o si solo desea información fáctica. Como tal, son útiles para las ayudas de escritura, la generación de primeros borradores, las estadísticas, especialmente si no es un hablante nativo del idioma en el que está escribiendo. Dados los eventos recientes, no están bien preparados para producir respuestas fácticas y consistentes, por lo que deben volver a capacitarse para eso. Y pueden tener contenido relevante en el conjunto de entrenamiento, lo que asegura que tendrán el comportamiento correcto.
Luego están los problemas como el razonamiento, la planificación, la aritmética y demás (en los que no son buenos), para los que utilizan herramientas como la consulta de la base de datos de la calculadora del motor de búsqueda. Así que este es un tema de investigación muy candente en este momento, cómo hacer que estos sistemas llamen herramientas (para hacer cosas en las que no son buenos), que es el llamado modelo de lenguaje extendido. Y fui coautor de un artículo de revisión sobre este tema con algunos de mis colegas de FAIR, sobre las diversas técnicas que se proponen para ampliar los modelos de lenguaje: su fluidez puede engañarnos fácilmente y pensar que son inteligentes, pero en realidad no lo son. que inteligente Son bastante buenos recuperando recuerdos, más o menos. Pero, de nuevo, no tienen ningún conocimiento de cómo funciona el mundo. Los modelos autorregresivos también tienen un defecto importante. Si imaginamos el conjunto de todas las respuestas posibles: entonces la secuencia de frases de entrada es un árbol, aquí representado por un círculo. Pero en realidad es un árbol de todas las secuencias de entrada posibles. En este enorme árbol, hay un pequeño subárbol que corresponde a la respuesta correcta a la pregunta dada. Si imaginamos que existe una probabilidad media e de que cualquier ficha producida nos saque del conjunto de respuestas correctas, los errores producidos son independientes. Entonces la probabilidad de la respuesta correcta de xn es 1-e elevado a la n-ésima potencia.
Esto significa que hay un proceso exponencialmente divergente que nos saca del árbol de secuencias de la respuesta correcta. Y esto se debe al proceso de pronóstico autorregresivo. No hay otra forma de evitar esto que hacer que e sea lo más pequeño posible. Así que tenemos que rediseñar el sistema para que no haga eso. Y, de hecho, otros han señalado las limitaciones de algunos de estos sistemas. Así que coescribí un artículo, que en realidad es un artículo de filosofía, con mi colega Jigdor Browning, que es filósofo, y este artículo trata sobre las limitaciones de entrenar sistemas de inteligencia artificial usando solo lenguaje sexual.
El hecho de que estos sistemas no tengan experiencia del mundo físico los hace muy limitados. Hay algunos artículos, o escritos por científicos cognitivos, como este del grupo del MIT a la izquierda, que básicamente dicen que los sistemas poseen una inteligencia muy limitada en comparación con lo que observamos en humanos y animales. También hay artículos de investigadores tradicionales de IA con poca experiencia en aprendizaje automático. Intentaron analizar las capacidades de planificación de estos sistemas de aprendizaje automático y básicamente concluyeron que estos sistemas realmente no pueden planificar y razonar, al menos no de la forma en que la gente lo entiende en la inteligencia artificial tradicional. Entonces, ¿cómo pueden los humanos y los animales aprender tan rápido? Lo que vemos es que los bebés aprenden una gran cantidad de conocimientos previos sobre cómo funciona el mundo en sus primeros meses de vida. Aprenden conceptos muy básicos como la permanencia de los objetos, el hecho de que el mundo es tridimensional, la diferencia entre objetos animados e inanimados, el concepto de estabilidad y el aprendizaje de categorías naturales. Además de aprender cosas muy básicas como la gravedad, cuando un objeto no tiene soporte, se cae. Los bebés aprenden esto alrededor de los nueve meses de edad, según los diagramas elaborados por mi colega Emmanuel Dupp.
Entonces, si muestra a un bebé de cinco meses, la escena en la parte inferior izquierda aquí, un carrito está en una plataforma y empuja el carrito fuera de la plataforma y parece estar flotando en el aire, un bebé de cinco meses no sorprendido. Pero los bebés de 10 meses se sorprenderán mucho al ver esta escena como la niña de abajo, porque durante este tiempo ya saben que los objetos no deben quedarse en el aire. Deben caer por gravedad. Entonces, estos conceptos básicos se aprenden en los primeros meses de vida, y creo que deberíamos replicar esta capacidad con máquinas para aprender cómo funciona el mundo observándolo o experimentándolo. Entonces, ¿por qué cualquier adolescente puede aprender a conducir en 20 horas de práctica y todavía no tenemos una conducción autónoma de nivel 5 completamente confiable, al menos sin mucha ingeniería, mapas, lidar y varios sensores? Así que claramente falta algo muy importante en el sistema autorregresivo. ¿Por qué tenemos sistemas fluidos para aprobar exámenes de derecho o exámenes médicos, pero no tenemos robots domésticos que puedan limpiar la mesa del comedor y llenar el lavavajillas, verdad? Es algo que cualquier niño de 10 años puede aprender en minutos y todavía no tenemos máquinas que puedan aproximarse. Así que claramente nos estamos perdiendo algo extremadamente importante. No estamos ni cerca de la inteligencia a nivel humano en los sistemas de IA que tenemos actualmente.
Desafíos futuros del aprendizaje automático
¿Entonces como hacemos esto? De hecho, he identificado tres grandes desafíos para la IA en los próximos años:
Modelos que aprenden representaciones y predicciones del mundo. Lo mejor es utilizar el aprendizaje autosupervisado.
Aprender a razonar: esto corresponde a ideas en psicología, como la de Daniel Kahanman, System 2 versus System 1. Entonces, el Sistema 1 es la acción o comportamiento humano que corresponde a los cálculos subconscientes, las cosas que haces sin pensar en ello. Entonces el Sistema 2 es lo que haces conscientemente, usas toda tu capacidad mental. El modelo autorregresivo básicamente solo hace el Sistema 1, que no es muy inteligente en absoluto.
Lo último es avanzar y planificar secuencias complejas de acciones de forma jerárquica descomponiendo tareas complejas en otras más sencillas.
Luego, hace aproximadamente un año, escribí un documento de visión y lo puse a disposición del público, para que puedan echarle un vistazo. Esta es básicamente mi sugerencia de hacia dónde creo que debería ir la investigación de IA en los próximos 10 años. Gira en torno a la idea de que podemos organizar varios módulos en las denominadas arquitecturas cognitivas, y en el corazón de este sistema se encuentra el modelo mundial.
Modelos mundiales: el camino hacia AGI
Un modelo mundial es algo que un sistema puede usar para imaginar esencialmente un escenario, imaginar lo que sucederá, quizás las consecuencias de sus acciones. Así, todo el sistema pretende encontrar, en base a sus propias predicciones, utilizando su modelo literal, una secuencia de acciones que minimice una secuencia de costes. Puede pensar en el costo como una medida de cuán incómodo es este agente. Por cierto, muchos de estos módulos tienen subsistemas correspondientes en el cerebro. El módulo de costos es nuestro modelo del mundo (en el cerebro) - la corteza prefrontal, la memoria a corto plazo corresponde al hipocampo; el actor puede ser el área premotora; el sistema de percepción es la parte posterior del cerebro, donde se realiza el análisis perceptivo de todos los sensores se lleva a cabo.
El sistema funciona procesando el estado actual del mundo a partir de ideas previas sobre el mundo que puede haber almacenado en la memoria. Luego, usa el modelo mundial para predecir qué sucedería si el mundo continuara comportándose, o cuáles serían las consecuencias de las acciones que tomaría como agente. Está dentro de este bloque de acción amarillo. El módulo de acción propone una secuencia de acciones. Un modelo mundial simula el mundo y calcula lo que sucede como consecuencia de esas acciones. Luego calcule un costo. Lo que sucederá entonces es que el sistema optimizará la secuencia de acciones para que el modelo mundial se minimice.
Entonces, lo que debería decir es que siempre que vea una flecha que apunta en una dirección, también tiene el gradiente yendo hacia atrás. Así que asumo que todos estos módulos son separables y podemos inferir la secuencia de acciones retropropagando gradientes, minimizando así el costo. No se trata de minimizar los parámetros, sino de minimizar las acciones. Esta es la minimización de las variables latentes. Y esto se hace en el momento de la inferencia.
Entonces, en realidad hay dos formas de usar el sistema. Es similar al sistema 1, que aquí llamo modo 1, básicamente es reactivo. El sistema observa el estado del mundo, lo ejecuta a través del codificador perceptivo, genera un concepto del estado del mundo y lo ejecuta directamente a través de la red de políticas, mientras que el actor simplemente produce directamente una acción.
El modo 2 es donde observas el mundo y extraes una representación del estado del mundo como 0. Luego, el sistema imagina una secuencia de acciones desde a[0] hasta un largo T (tiempo). Estos estados predichos se introducen en una función de costo, y el propósito general del sistema es básicamente encontrar la secuencia de acciones que minimice el costo en función de las predicciones. Así que aquí el modelo mundial se aplica repetidamente en cada paso de tiempo, esencialmente prediciendo el estado mundial en el tiempo T+1 a partir de la representación mundial en el tiempo T e imaginando una acción propuesta. La idea es muy similar a lo que la gente en el campo del control óptimo llama optimización predictiva de modelos. En el contexto del aprendizaje profundo, se han propuesto una serie de modelos que utilizan esta idea para planificar trayectorias.
La pregunta aquí es ¿cómo aprendemos exactamente este modelo mundial? Si omite la pregunta, lo que buscamos hacer es una versión más sofisticada donde tenemos un sistema en capas que pasa por una cadena de codificadores que extraen representaciones cada vez más abstractas del estado del mundo y usa un modelo mundial que predice el estado del mundo a diferentes niveles de perturbación y en diferentes escalas de tiempo. El nivel alto aquí significa que, por ejemplo, si quiero ir a Beijing desde Nueva York, lo primero que debo hacer es ir al aeropuerto y luego tomar un avión a Beijing. Así que esta será una representación de alto nivel del plan. La función de costo final puede representar mi distancia desde Beijing, digamos. Entonces, la primera acción será: ir al aeropuerto y mi estado será ¿Estoy en el aeropuerto? Entonces la segunda acción será tomar un avión a Beijing. ¿Como puedo llegar al aeropuerto? Desde, digamos, mi oficina en Nueva York. Lo primero que tengo que hacer es ir por la calle y tomar un taxi y decirle que vaya al aeropuerto. ¿Cómo llego a la calle? Necesito levantarme de la silla, voy a la salida, abro la puerta, salgo a la calle, etc. Entonces puedes imaginarlo así, descomponiendo esta tarea hasta el nivel de milisegundos y controlándola en el nivel de milisegundos, todo lo que necesitas hacer es completar esta escala.
Entonces, todas las tareas complejas se realizan jerárquicamente de esta manera, lo cual es un gran problema que hoy en día no sabemos cómo resolver con el aprendizaje automático. Entonces, esta arquitectura que estoy mostrando aquí, nadie la ha construido todavía. Nadie ha demostrado que usted puede hacer que funcione. Entonces creo que es un gran desafío, la planificación jerárquica.
La función de costo puede constar de dos conjuntos de módulos de costo y será modulada por el sistema para decidir qué tarea realizar en cualquier momento. Entonces, en el costo hay dos submódulos. Algunos son esos costos incorporados que están codificados e inalterables. Como puede imaginar, esas funciones de costos harán cumplir las medidas de seguridad para garantizar que el sistema se comporte correctamente, no sea peligroso, no sea tóxico, etc. Esta es una gran ventaja de estas arquitecturas, es decir, puedes optimizar el costo en el momento de la inferencia.
Puede garantizar que esos estándares, esos objetivos se harán cumplir y se cumplirán con la salida del sistema. Esto es muy diferente de un LLM autorregresivo, que básicamente no tiene forma de garantizar que su salida sea buena, no tóxica y segura.
Sesión de control de calidad de Yang Likun X Zhu Jun
Zhu junio:
Hola, profesor LeCun. Realmente feliz de verte de nuevo. Luego moderaré la sesión de preguntas y respuestas. En primer lugar, gracias nuevamente por levantarse tan temprano para esta presentación reflexiva del taller y brindar tanta información. Teniendo en cuenta las limitaciones de tiempo, he elegido algunas preguntas para hacerle.
Como discutió en su charla que hay muchos problemas con los modelos generativos, la mayoría de los cuales estoy de acuerdo con usted, pero tengo una pregunta para usted sobre los principios básicos de estos modelos generativos. Los modelos generativos, por definición, generan opciones múltiples. Además, la creatividad es una propiedad deseable cuando aplicamos la diversidad de modelos generativos. Por lo tanto, a menudo nos complace usar modelos para generar resultados diversos. ¿Significa esto que las inconsistencias, como los errores fácticos o los errores ilógicos, son realmente inevitables para tal modelo? Porque en muchos casos, incluso si tiene datos, los datos pueden contener hechos contradictorios. También mencionó la incertidumbre del pronóstico. Así que aquí está mi primera pregunta. Entonces, ¿cuáles son tus pensamientos sobre esto?
Yang Likun:
Así es. Así que no creo que el problema del modelo predictivo autorregresivo y el modelo generativo pueda resolverse manteniendo la generación autorregresiva. Creo que estos sistemas son inherentemente incontrolables. Entonces creo que tienen que ser reemplazados por el tipo de arquitectura que estoy proponiendo, donde el tiempo está incluido en el razonamiento, y hay un sistema para optimizar costos y ciertos criterios. Esta es la única forma de hacerlos controlables, orientables, planificables, es decir, el sistema podrá planificar sus respuestas. Sabes que cuando estás dando una presentación como la que acabo de hacer, planificas el curso de la presentación, ¿verdad? Vas de un punto a otro, explicas cada punto. Cuando diseñas un discurso, lo planeas en tu cabeza, en lugar de improvisar (como un gran modelo de lenguaje) palabra por palabra. Tal vez en un nivel más bajo (de comportamiento), estás improvisando, pero en un nivel más alto (de comportamiento), estás planificando. Entonces, la necesidad de planificar es realmente obvia. Y el hecho de que los humanos y muchos animales tengan la capacidad de planificar, creo que es una propiedad intrínseca de la inteligencia. Así que mi predicción es que dentro de unos años relativamente cortos, ciertamente dentro de 5 años, nadie en su sano juicio seguirá con un LLM autorregresivo. Estos sistemas pronto serán abandonados. Porque no se pueden reparar.
Zhu junio:
DE ACUERDO Supongo que otra pregunta sobre el control: en su diseño y marco, una parte clave es el módulo de costos intrínsecos, ¿verdad? Básicamente, está diseñado para dictar la naturaleza del comportamiento del agente. Después de leer las opiniones abiertas en su documento de trabajo, comparto mi preocupación con uno de los comentarios en línea. Este comentario dice que principalmente este módulo no funciona como se especifica. Tal vez el agente finalmente [la pantalla se congela].
Yang Likun:
Asegurar el módulo de costos del sistema no será una tarea trivial, pero creo que será una tarea bastante bien definida. Requiere mucha ingeniería cuidadosa y ajustes finos, y parte de ese costo puede ganarse a través de la capacitación, no solo del diseño. Esto es muy similar a la evaluación de estrategias en el aprendizaje por refuerzo (Ctric en la estructura Actor-Crtic, que evalúa los resultados producidos por el actor como un modelo de lenguaje) o el llamado modelo de recompensa en el contexto de LLM. sistema de consideración Todo el proceso desde el estado interno hasta el costo. Puede entrenar una red neuronal para predecir costos, puede entrenarla exponiéndola a muchos... dejar que genere muchos resultados y luego hacer que alguien o algo califique esos resultados. Esto le da un objetivo para una función de costo. Puede entrenarlo para calcular un costo pequeño y luego propagarlo hacia atrás después de obtener el costo para garantizar que se cumpla esta función de costo. Entonces, creo que el costo del diseño, creo que tendremos que pasar del costo de diseñar la arquitectura y diseñar el LLM a la función de costo de diseño. Porque estas funciones de costo impulsarán las propiedades y el comportamiento del sistema. A diferencia de algunos de mis colegas que son más pesimistas sobre el futuro, creo que es muy factible diseñar costos (funciones) que sean consistentes con los valores humanos. Eso no quiere decir que si te equivocas una vez, habrá una situación en la que el sistema de IA escape al control y se apodere del mundo. Y antes de implementar estas cosas, hay muchas maneras de diseñarlas bien.
Zhu junio:
Estoy de acuerdo con eso. Entonces, otra pregunta técnica relacionada con esto, noté que modela por diseño JEPA en capas, donde casi todos los módulos son diferenciables, ¿verdad? Tal vez puedas entrenar con retropropagación. Pero sabe que hay otro campo, como la lógica simbólica, que representa la parte no diferenciable, y tal vez en el módulo de costo intrínseco pueda formular de alguna manera las restricciones que nos gustan, entonces, ¿tiene algunas consideraciones especiales para conectar los dos campos, o simplemente ignorar el campo de la lógica simbólica?
Yang Likun:
bien. Así que creo que sí, la realidad es que hay un subcampo de arquitecturas neuronales+simbólicas que intenta combinar redes neuronales entrenables con manipulación simbólica o algo así. Soy muy escéptico con estos enfoques por el hecho de que las operaciones simbólicas no son diferenciables. Entonces, es básicamente incompatible con el aprendizaje profundo y el aprendizaje basado en gradientes, y ciertamente no con el tipo de inferencia basada en gradientes que estoy describiendo. Así que creo que deberíamos hacer todo lo posible para usar módulos diferenciables en todas partes, incluidas las funciones de costos. Ahora puede haber un cierto número de casos en los que podemos implementar un costo (función) que no es diferenciable. Para esto, los optimizadores que realizan inferencias pueden tener que usar la optimización combinatoria en lugar de la optimización basada en gradientes. Pero creo que este debería ser el último recurso, ya que la optimización sin gradientes de orden cero es mucho menos costosa que la optimización basada en gradientes. Por lo tanto, si puede tener una aproximación precisa a su función de costos, debe usarla siempre que sea posible. Hasta cierto punto, ya lo hacemos. Cuando entrenamos un clasificador, la función de costo que queremos minimizar no es completamente precisa. Pero esto no es diferenciable, por lo que usamos un proxy de costo diferenciable. es la entropía de costo de la salida del sistema frente a la distribución de salida deseada, o algo como e-cuadrado o pérdida de bisagra. Estos son básicamente límites superiores de la ley binaria no diferenciable, para los cuales no podemos optimizar fácilmente. Entonces, siguiendo el método antiguo, tenemos que usar una función de costo, que es una aproximación precisa del costo que realmente queremos minimizar.
Zhu junio:
Mi próxima pregunta es, me inspira nuestro próximo orador, el profesor Tegmark, quien dará una charla en vivo después de usted. De hecho, escuchamos que participará en un debate sobre el estado actual y el futuro de AGI. Dado que es posible que la mayoría de nosotros no podamos asistir, ¿puede compartir algunos puntos clave para inspirarnos? Nos gustaría escuchar algunas ideas sobre esto.
Yang Likun:
Bien, esto va a ser un debate con cuatro participantes. El debate girará en torno a la cuestión de si los sistemas de IA plantean riesgos existenciales para los humanos. Entonces Max y Joshua Bengio estarán del lado de "Sí, los poderosos sistemas de inteligencia artificial tienen el potencial de representar un riesgo existencial para la humanidad". Y luego, del lado del "no" estaremos Melanie Mitchell y yo del Instituto Santa Fe. Y nuestra tesis no sería que la IA esté libre de riesgos. Nuestro argumento es que estos riesgos, si bien están presentes, se mitigan o suprimen fácilmente mediante una ingeniería cuidadosa. Mi argumento para esto es que preguntarle a la gente hoy si podemos garantizar que los sistemas superinteligentes sean seguros para los humanos es una pregunta sin respuesta. Porque no tenemos un diseño para un sistema superinteligente. Por lo tanto, no puede asegurar nada hasta que tenga un diseño básico. Es como preguntarle a un ingeniero aeroespacial en 1930, ¿puedes hacer un turborreactor seguro y confiable? Y los ingenieros decían: "¿Qué es un turborreactor?" Porque los turborreactores no se habían inventado en 1930. Así que estamos en la misma situación. Es un poco prematuro afirmar que no podemos hacer que estos sistemas sean seguros porque aún no los hemos inventado. Una vez que los inventemos, tal vez sean similares al modelo que se me ocurrió, entonces vale la pena discutirlo. “¿Cómo los hacemos seguros?”, me parece que sería diseñando aquellos que minimicen el tiempo de inferencia. Esto es lo que hace que el sistema sea seguro. Obviamente, si imagina que los sistemas de inteligencia artificial superinteligentes del futuro serán LLM autorregresivos, entonces, por supuesto, debemos tener miedo porque estos sistemas no son controlables. Pueden escapar de nuestro alcance, hablando galimatías. Pero creo que un sistema del tipo que estoy describiendo puede hacerse seguro. Y estoy bastante seguro de que lo harán. Esto requerirá un cuidadoso diseño de ingeniería. No es fácil, al igual que no ha sido fácil hacer que los turborreactores sean confiables durante las últimas siete décadas. Los turborreactores ahora son increíblemente confiables. Puedes cruzar océanos en un avión bimotor y básicamente tener esta increíble seguridad. Por lo tanto, esto requiere una ingeniería cuidadosa. Y es realmente difícil. La mayoría de nosotros no tenemos idea de cómo se diseñan los turborreactores para que sean seguros. Así que no es una locura imaginar esta cosa. Descubrir cómo hacer que un sistema de IA superinteligente sea seguro también es difícil de imaginar.
Zhu junio:
DE ACUERDO Gracias por tu percepción y respuesta. También como ingeniero, te lo agradezco nuevamente. Muchas gracias.
Yang Likun:
muchas gracias.