Haz clic en la palabra azul｜Síguenos
El 22 de marzo de 2023, el Future of Life Institute (Instituto del Futuro de la Vida) publicó una carta abierta en su sitio web oficial titulada "Suspendidos experimentos de inteligencia artificial a gran escala", en la que insta a todos los laboratorios de inteligencia artificial a suspender de inmediato el entrenamiento de todos los sistemas de inteligencia artificial más fuertes que GPT-4 durante al menos 6 meses . Esta carta abierta ha atraído una gran atención en todo el mundo. Importantes figuras en el campo de la tecnología, como el cofundador de Apple, Steve Wozniak, Tesla, SpaceX y el CEO de Twitter, Elon Musk, firmaron la carta abierta para expresar su apoyo. A la fecha de redacción, la carta abierta ha recolectado 33,002 firmas en apoyo.
Ver la carta abierta:
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Como fundador del Future of Life Institute, autor del libro "Life 3.0" e iniciador de esta carta abierta, Max Tegmark es actualmente profesor titular en el Instituto Tecnológico de Massachusetts (MIT), dedicado a la investigación de la inteligencia artificial y la vida futura, y ha logrado grandes logros en este campo.
En el "2023 IJCAI-WAIC Large Model and Technology Singularity: Humanities and Science Face-to-face Summit Forum", el profesor Max Tegmark compartió y discutió con ustedes "Por qué se debe suspender la investigación de IA y cómo controlar la IA" a través de una conexión .
La sesión fue organizada por el Sr. Xie Minxi, fundador de Anyuan AI. El profesor Wu Guanjun, decano de la Facultad de Política y Relaciones Internacionales de la Universidad Normal de China Oriental, y el profesor Toby Walsh de la Universidad de Nueva Gales del Sur participaron en la sesión de preguntas.
El siguiente es el registro de la conexión en vivo, y HyperAI compartió sin cambiar la intención original.
Max Tegmark: Hola a todos, estoy muy contento de poder conectarme con ustedes en Shanghái. Tengo una relación muy estrecha con China y muchos de mis alumnos destacados son chinos. El tema que quiero compartir con ustedes hoy es "Cómo controlar la IA".
La gente a menudo me pregunta, frente a la IA, si los seres humanos deberían estar emocionados o asustados. Creo que debería ser un poco de ambos. Estamos entusiasmados de estar al mando de la IA, y las oportunidades que brinda son infinitas. Un artículo mío reciente discutió cómo lograr los objetivos de desarrollo sostenible más rápidamente con la ayuda de la IA. Hemos descubierto que la IA nos ayuda a lograr la mayoría de nuestros objetivos. Si usamos el método correcto, bajo control, obtendremos una mejor IA, lograremos objetivos mucho más allá de las expectativas originales y crearemos un futuro mejor para el mundo. Y la premisa de todo esto es evitar que la IA se salga de control y mantener a los humanos en control de la IA.
Recientemente, ha habido mucha discusión sobre la amenaza de la IA. De hecho, estamos en una era en la que las computadoras son conscientes y auto iterativas. El desarrollo será cada vez más rápido, y debemos pensar seriamente en cómo controlarlo. Pero no puedo afirmar que los humanos tengan esta habilidad, pero deberíamos intentarlo.
El peor resultado del desarrollo de la IA es la extinción de todos los seres humanos, no creo que esto sea alarmista. En mi opinión, hay un 50 % de posibilidades de que la IA provoque la extinción humana en un futuro próximo, por lo que me interesa este tema. Recientemente, muchas personas han advertido que debemos estar atentos a la extinción de seres humanos provocada por la IA. La declaración del 20 de mayo fue firmada no solo por los directores ejecutivos de muchas de las principales empresas de IA, sino también por muchos de los principales académicos de IA. ¿Qué les preocupa? ¿Por qué tienen tales preocupaciones en el momento? Sin embargo, esta preocupación ha existido desde la antigüedad.
Si los humanos crean máquinas que son más inteligentes que ellos mismos, correrán un gran riesgo. Esta visión se remonta a Turing, el padre de la inteligencia artificial. Dijo en 1951 que si un día las máquinas empiezan a pensar, los humanos deberían estar preparados para ser controlados por ellas. Es obvio que la inteligencia traerá poder y control. Hay muchas advertencias similares. Se puede ver que este es un viejo problema, que se remonta al nacimiento de la IA. Pero, ¿por qué estamos discutiendo este tema ahora?
Debido a que la IA ahora se está desarrollando a pasos agigantados, lo que muchas personas pensaron que podría lograrse en décadas ahora ha sucedido. Lo que una vez se pensó que era el futuro ahora es un pasado lejano. La IA puede escribir código limpio, puede crear arte, la IA también se ha vuelto buena para escribir y crear videos, y se han producido cambios trascendentales en un corto período de tiempo. Si continúa desarrollándose, puede hacerlo mejor que los humanos en todas las áreas. Esta es la definición de Inteligencia General Artificial (AGI). Si esto sucede, significa que tiene la capacidad de desarrollar una mejor IA, lo que aumentará aún más la probabilidad de superinteligencia. Podemos hacer IA, acelerar el desarrollo de una mejor IA. Con un ciclo tan iterativo, pronto la IA ya no estará sujeta a la inteligencia humana, sino solo a las leyes de la física.
Hace unos años, la mayoría de la gente no pensaba que esto sucedería pronto, y muchos investigadores de IA en un momento pensaron que podría llevar entre 30 y 50 años que sucediera. Pero ahora Microsoft ha publicado un documento que dice que esto ya está sucediendo. Vemos la chispa de la inteligencia artificial general en GPT-4. Básicamente, hemos llegado a un punto en el que los sistemas de IA pueden imitar el comportamiento humano, lo que significa que la IA puede pasar la prueba de Turing. Ya en las décadas de 1960, 1970 y 1980, la gente creía que una vez que la IA pasaba la prueba de Turing, significaba que básicamente tenía la capacidad de superar a los humanos.
Cada vez más personas comienzan a preocuparse de que el desarrollo de la IA se salga de control y conduzca a la extinción de los seres humanos. De hecho, esto ayudará a mejorar las relaciones chino-estadounidenses. Actualmente, la mayoría de los jugadores ven a la IA como una fuente de derechos. Quien lo domine primero tiene el potencial de ganar. Pero ahora todo el mundo está empezando a tratar el desarrollo de la IA con cautela. Si la persona que primero domina la IA no la controla por completo y no aborda los riesgos que conlleva, es probable que el resultado sea la extinción de los seres humanos y no habrá ganadores. Esto ha cambiado por completo la situación actual y espero sinceramente que esto pueda abrir una nueva página para la mejora de las relaciones chino-estadounidenses y generar una situación más abierta y colaborativa. Porque solo a través de la cooperación, nadie perderá el control de la IA y se puede crear un futuro mejor para la humanidad.
Comprender cómo los humanos pueden controlar máquinas que son más inteligentes que nosotros requiere mucha investigación técnica. Eso es lo que hago en mi grupo de investigación del MIT. Recientemente, organicé una gran conferencia sobre este tema para discutir la interpretabilidad del mecanismo y cómo comprender mejor los modelos de lenguaje grandes. El objetivo final es permitir que los humanos controlen la IA. En lugar de rendirnos y comparar la IA con una caja negra desconocida, podemos intentar usar otras tecnologías de IA para juzgar la credibilidad de la IA. Cómo usar la tecnología de IA para mejorar la credibilidad de la IA, e incluso extraer información de ella, y usar métodos de proceso para garantizar que la IA pueda realizar operaciones de acuerdo con las necesidades humanas, de modo que tengamos una tecnología de inteligencia artificial creíble. Ninguno de estos tres problemas se ha resuelto todavía, pero creo que con más tiempo y una cooperación global más fuerte, las soluciones a estos problemas estarán al alcance de la mano. Desde un punto de vista técnico es completamente factible, el problema es el tiempo.
Antes de terminar, me gustaría hablar sobre el hecho de que la realización tecnológica de permitir que los humanos controlen las máquinas está lejos de ser suficiente. También necesitamos resolver el problema de alineación multiescala (Multiscale Alignment). Como dijo Yoshua Bengio, la IA tiene un lado positivo para el desarrollo social, lo cual es emocionante, pero también me preocupa. Porque herramientas poderosas también pueden usarse de manera inapropiada, y la sociedad no está preparada para este desafío. Es por eso que decimos que disminuya la velocidad del desarrollo de la IA y establezcamos defensas de manera más integral.
Lo que Yoshua Bengio quiere expresar es que necesitamos suspender el desarrollo de los sistemas de IA más peligrosos, más propensos a descontrolarse, de los que los humanos saben poco y son más poderosos que GPT-4. Para dar tiempo a la investigación técnica y garantizar que los humanos puedan controlar la IA. Al mismo tiempo, también es posible que la formulación de políticas siga el ritmo del desarrollo de la IA, asegurando que los gobiernos de todo el mundo puedan implementar las regulaciones necesarias y que las empresas y las personas solo usen la IA para hacer cosas beneficiosas.
No es suficiente obedecer a un individuo si un individuo puede usar IA para desarrollar armas bioquímicas, ni tampoco es suficiente obedecer a una corporación si una corporación hace algo que no conduce al desarrollo de la sociedad. Por eso, no solo necesitamos seguridad técnica para trabajar, sino también leyes y reglamentos. No estoy solo, 27.565 personas han firmado esta carta abierta, de la que soy coautor con Yoshua Bengio y otros autores, pidiendo una moratoria en el desarrollo de modelos de alto riesgo. En este sentido, China también puede hacer mayores contribuciones. China ya tiene regulaciones más estrictas sobre IA que Estados Unidos. China tiene ventajas significativas para resolver este problema.
No solo porque China es un país fuerte en ciencia y tecnología, también puede ayudar a la investigación relacionada con la seguridad de la IA. También se debe a que China es una de las cuatro civilizaciones antiguas del mundo. En comparación con muchos países occidentales, tiene una tradición de planificación a largo plazo. Este es un concepto muy necesario. Sinceramente, doy la bienvenida a los técnicos chinos para que contribuyan con su sabiduría a la solución de tales problemas, como la forma en que los humanos controlan máquinas que son más inteligentes que ellos mismos y participan en la formulación de soluciones políticas prácticas, para que las personas, las empresas y los países puedan unirse para escribir un futuro mejor y disfrutar de los logros de la IA.
Gracias a todos por escuchar.
Sesión de diálogo:
Wu Guanjun: Muchas gracias, profesor Tegmark, me gusta mucho su forma de compartir y también estoy de acuerdo con sus preocupaciones. Mencionaste que los humanos van a controlar la IA, y todavía tengo una gran pregunta al respecto. ¿Quién controlará la IA? Si el sujeto omitido aquí es "nosotros", bajo el control de "seres humanos", en realidad hay un "nosotros" aquí. Noté que una de sus diapositivas dice No perdamos el control, y también hay un "nosotros". Entonces mi pregunta es, ¿desde cuándo los humanos actúan como "nosotros"? Sabemos que los humanos tienen problemas para confiar unos en otros. Por ejemplo, ¿deberíamos confiar en Elon Musk? ¿Realmente no entrena en secreto a ningún modelo más poderoso que GPT 4? Aunque firmó esta carta abierta que iniciaste, me gustaría creerle. Pero según un reportaje en los medios hace unos meses, compró 10.000 GPU. Volviendo a mi pregunta, ¿quién debería controlar la IA? ¿Es una prioridad resolver el problema de la confianza entre los seres humanos?
Max Tegmark: Esa es una gran pregunta. En realidad, estas son dos preguntas separadas sobre el control. El primero es un problema técnico. ¿Cómo puede cualquier individuo o empresa hacer que una máquina haga lo que quiere? Este es solo un problema técnico. Si no podemos resolver este problema técnico, ni siquiera podemos esperar resolver su problema de control. Es como si tuvieras un reactor nuclear pero siempre explota cuando arranca, entonces no tiene sentido para nadie. Así que primero tenemos que resolver los problemas técnicos.
Al mismo tiempo, se deben formular las políticas correspondientes para el tema de los derechos de control. Esta es una parte muy crítica de quién llega a controlar. Por supuesto, no hay consenso sobre lo que se debe hacer. Diferentes empresas, líderes empresariales y países a menudo tienen puntos de vista diferentes. Pero creo que es importante que, en lugar de detenernos en lo extrañas que son las mentes de estas máquinas que no se preocupan por los humanos, primero deberíamos centrarnos en objetivos comunes. De hecho, todos los países del mundo han llegado a un consenso, como Estados Unidos y China, acordando estos objetivos. Básicamente, todos los estados miembros de las Naciones Unidas también están de acuerdo con estos objetivos de desarrollo, eliminar la pobreza, eliminar el hambre, etc. Usa la tecnología para lograr estos objetivos, porque tenemos más consensos que pueden unir a todos que diferencias.
Toby Walsh: Encantado de conocerte, Max. Tenemos muchas preocupaciones compartidas sobre la IA, especialmente cuando se trata de cosas como armas autónomas. Hay varias razones por las que no firmé esta carta abierta, que probablemente firmaría si pidiera una moratoria en el despliegue de IA. Debido a que la IA actual es una herramienta que puede magnificar el daño, de hecho, ya hemos visto y experimentado algunos de estos daños. No estoy muy seguro de la capacidad de los humanos para controlar lo que se está perdiendo rápidamente, pero ya tenemos herramientas que pueden amplificar las acciones humanas y aumentar el nivel de daño, por lo que mi pregunta es, ¿por qué no poner una moratoria en el despliegue de IA?
Max Tegmark: Buena pregunta, supongo que una de las razones clave por las que no firmó la carta abierta es que su línea de tiempo modelo es más larga que la de otros firmantes. Esto cae directamente dentro del ámbito del desacuerdo científico legítimo, y la carta abierta no establece una distinción clara entre implementación y desarrollo. En mi opinión, no deberíamos desarrollar una IA que sea demasiado poderosa e incluso que se salga de control. Si eres una empresa como OpenAI o DeepMind, incluso si confiamos en los directores ejecutivos de estas empresas, creo que los ingenieros son muy responsables y no implementarán ninguna IA potencialmente riesgosa. De hecho, no pueden tomar decisiones de forma independiente, porque una vez que desarrollen una IA extremadamente poderosa, enfrentarán una enorme presión comercial por parte de los accionistas, las juntas directivas y otros miembros, diciendo "esto puede generar mucho dinero, debemos continuar promoviendo la implementación de todos modos". Al igual que los científicos en el Proyecto Manhattan, cuando descubrieron cómo hacer la bomba atómica, enviaron un informe diciendo que no la arrojen sobre la multitud, solo hagan una demostración y luego pongan fin a la guerra para que nadie resulte herido o muerto por ella. Pero en ese momento, estos científicos que inventaron la bomba atómica estaban fuera de control y otras fuerzas intervinieron y decidieron desplegarla. Así que creo que la única forma de estar seguro cuando se trata de tecnología potencialmente muy poderosa en el futuro es no implementarla.
Nuestra única solicitud de una moratoria de 6 meses en el desarrollo de IA, y solo para los modelos más poderosos que los humanos aún no han entendido, es francamente una pequeña solicitud para dar tiempo a los responsables de la formulación de políticas y a los investigadores de seguridad para que se pongan al día. Espero que esto avance en la dirección de la industria biotecnológica, prohibiendo la fabricación y venta de medicamentos en países como China o Australia hasta que los expertos estén convencidos de que el medicamento es seguro y efectivo y que los beneficios superan los riesgos.
Toby Walsh: Max, el límite de 6 meses es otra razón por la que no firmé la carta abierta. Este límite de tiempo es muy parecido a un número puesto en la frente. Han pasado casi 6 meses desde que se publicó esta carta y nada ha cambiado. La investigación de alineación a nivel mundial no ha progresado significativamente y es poco probable que el problema se resuelva en 6 meses. Pedir una moratoria de 6 meses ciertamente no es suficiente si realmente desea abordar las inquietudes planteadas en esta carta. Deberías proponer un plan indefinido hasta que encontremos una solución.
Max Tegmark: La carta abierta exige una moratoria de al menos 6 meses, con la prohibición levantada solo después de que se establezcan los estándares de seguridad. Esto también es similar a la industria biotecnológica, que debe pasar el proceso de revisión de la FDA o las agencias correspondientes en Australia y China antes de poder lanzar productos al mundo exterior. Ahora, al menos en los Estados Unidos, es un estado muy bárbaro y desordenado. No existen leyes y reglamentos sobre el uso de la IA, pero las leyes y reglamentos sobre medicamentos y otras drogas son muy completos, es decir, el desarrollo de la IA no debe reiniciarse hasta que se implemente la legislación pertinente. No estoy de acuerdo contigo en que nada ha cambiado. De hecho, ha habido un debate sin precedentes en los círculos políticos que ha provocado esta carta, lo que creo que es notable. Pero el desarrollo de la IA no se ha detenido, el desarrollo de la IA no se ha detenido. Pero la conversación política definitivamente ha aumentado significativamente, lo cual es bienvenido.
Toby Walsh: Por supuesto, es útil y todos agradecen esta discusión. La razón más fundamental por la que no firmé la carta abierta puede ser que la palabra "control" que mencionaste repetidamente, no solo mi lapso de tiempo puede ser un poco más largo que el tuyo. Fundamentalmente, cuando hablo con mis amigos biólogos, piensan que las máquinas son diferentes de los organismos vivos. No tienen un propósito intrínseco, en última instancia son herramientas, dirigidas por humanos, a quienes se les puede indicar que hagan algo mal. A diferencia de los humanos u otros animales, las máquinas no tienen impulsos intrínsecos y no debemos preocuparnos por perder el control sobre ellos. En cambio, me preocupa mucho perder el control de las empresas e instituciones que podrían usar estas tecnologías de manera maliciosa. Pero no estoy demasiado preocupado por la máquina en sí.
Max Tegmark: Incluso si solo te preocupa si los usuarios usarán la IA para hacer el mal, vale la pena hacer una pausa por un momento.
Por ejemplo, según un artículo del año pasado, un investigador de IA entrenó a una IA para desarrollar nuevos medicamentos. Básicamente, optimizó la cantidad de moléculas diferentes que pueden mejorar la salud humana, y luego, como experimento de control, puso un signo menos para probar qué sucedería si le dijera a esta IA que desarrollara químicos dañinos en su lugar. Resultó que en 24 horas encontró a VX. Es el agente nervioso más fuerte jamás descubierto en los EE. UU., así como algunos nuevos. Si abre algo como esto, asumiendo que Facebook está haciendo algo como esto, ¿cómo detiene a alguien que solo quiere usar la IA para hacer el mal? Puede sonar extraño para todos ustedes aquí y los australianos, pero hay todo tipo de tiroteos masivos en los EE. UU. donde alguien querría matar a tantas personas como sea posible, así que creo que es muy posible que alguien use IA para causar el mayor daño posible, y estoy seguro de que eso es algo sobre lo que la gente quiere tener control.
Toby Walsh: Max, mencionaste una operación muy peligrosa, censura de información. Porque al final del día, lo que está en juego es el conocimiento científico sobre VX y otros agentes nerviosos. Aunque tenemos una herramienta para hacerlo más accesible, en última instancia es solo conocimiento científico. ¿Cómo evitar que esto suceda? Evitar que esto suceda requiere mantener al público fuera de los reactivos, fuera de su acceso a las fábricas bioquímicas que pueden convertir estas ideas en malvadas.
Max Tegmark: No estoy de acuerdo con esta declaración, aunque tomar las medidas anteriores ayudará, pero no abriremos el código abierto del último diseño de armas nucleares pequeñas y parte del contenido de mayor riesgo de la biología sintética. No porque no confiemos en el código abierto. Como todos sabemos, el MIT, donde trabajo, es la cuna de la cultura de código abierto, pero algunas cosas no pueden ser de código abierto debido al alto riesgo para la sociedad. No solo nos preocupan las personas que ya saben cómo hacer que VX se haga público. Lo aterrador de este desarrollo de armas químicas de IA es que descubrió algunas nuevas armas químicas previamente desconocidas. Claramente, si construimos sistemas de IA que pueden superar a los químicos o biólogos humanos, entonces la IA también tiene el potencial de crear nuevos conocimientos sobre daños masivos. Incluso si este sistema de IA es extremadamente obediente a las órdenes de su propietario y no tiene un propósito intrínseco, los humanos pueden usar la IA para causar más daño, que aún debe contenerse de manera efectiva. Lo anterior es mi opinión.
Para ver la versión completa del contenido de la transmisión en vivo y la sesión de preguntas y respuestas, haga clic en el siguiente enlace para verlo: