El lenguaje humano y los patrones de pensamiento detrás de él son estructuralmente más simples y más "lícitos" de lo que imaginamos.
El fuego de ChatGPT incluso ha comenzado a cambiar la forma en que los humanos trabajan y piensan. Comprenderlo y reconocerlo por completo, al tiempo que ve oportunidades futuras, se ha convertido en la mente que todos están ansiosos por construir. Mirando el mundo, el único libro que puede explicar los principios y el futuro de GPT es "This is ChatGPT" de Stephen Wolfram.
Independientemente de si lo conoces o no, me gustaría presentarte sinceramente la experiencia de esta figura legendaria nuevamente.
Es profesor de física, matemáticas e informática en la Universidad de Illinois y un "genio científico". A la edad de 15 años, publicó su primer artículo académico sobre física de partículas, a la edad de 19 años, fue a Caltech para estudiar física de partículas elementales y obtuvo un doctorado en física teórica en un año. Luego trabajó con Feynman en autómatas celulares.
También es ingeniero de software y propietario de una empresa. La empresa de software Wolfram Research que fundó ha desarrollado Mathematica, uno de los cuatro software matemáticos más importantes del mundo en la actualidad . El lanzamiento de Mathematica marcó el comienzo de la computación técnica moderna y es el sistema de computación de propósito general más poderoso del mundo. El propio Wolfram también fue considerado "el gran mecenas de la humanidad" debido a este invento, y entró en las filas de los multimillonarios.
En 1981, Wolfram recibió el premio MacArthur "Genius" y se convirtió en el ganador más joven de la historia.
En mayo de 2009, Wolfram lanzó un motor de búsqueda, WolframAlpha. "La Primera Inteligencia Artificial Verdaderamente Práctica". Puede dar respuestas efectivas a las preguntas, por lo que WolframAlpha fue llamado el " asesino de Google " poco después de su lanzamiento . Él y Jobs también son buenos amigos, como Siri, el asistente de telefonía móvil de Apple, y la base de conocimientos detrás de él es respaldada por Wolfram|Alpha.
Su tomo, "A New Kind of Science", de 1.197 páginas, fue uno de los más vendidos en Amazon cuando se publicó en 2002.
Es una de las personas vivas más inteligentes de la actualidad, el pensador más duro.
"Esto es ChatGPT"
[US] Stephen Wolfram Traducido por WOLFRAM Media Sinicization Group
1
Entonces, ¿qué está haciendo exactamente ChatGPT? ¿Por qué puede hacer esto?
El concepto básico de ChatGPT es bastante simple hasta cierto punto: primero obtenga muestras de texto masivas creadas por humanos de Internet, libros, etc., y luego entrene una red neuronal para generar texto "similar a él". En particular, puede comenzar con una "pista" y proceder a generar "texto similar a sus datos de entrenamiento".
Como podemos ver, la red neuronal en ChatGPT en realidad está compuesta por elementos muy simples, aunque miles de millones de ellos. El funcionamiento básico de la red neuronal también es muy simple, en esencia, por cada nueva palabra (o parte de una palabra) que genera, la entrada obtenida del texto actualmente generado se pasará a su vez "a todos sus elementos una vez" (no bucles, etc).
Sorprendente e inesperadamente, este proceso puede producir con éxito un texto que es "similar" al contenido que se encuentra en Internet, libros, etc. ChatGPT no solo puede producir un lenguaje humano coherente, sino también "seguir las indicaciones y decir algo" basado en el contenido "leído". No siempre podrá decir cosas que "globalmente tengan sentido" (o correspondan a que se hayan calculado correctamente), porque (sin aprovechar los "superpoderes computacionales" de Wolfram|Alpha) simplemente "suena" en función de lo que hay en el entrenamiento. material. Like what" para decir algo que "suene bien".
La ingeniería específica de ChatGPT es bastante convincente. Pero (al menos hasta que pudo usar herramientas externas) ChatGPT "simplemente" extrajo algunos "hilos textuales coherentes" de sus "estadísticas de sabiduría convencional" acumuladas. Pero la semejanza humana de los resultados es lo suficientemente sorprendente.
Como he discutido, esto apunta a algo muy importante, al menos científicamente: que el lenguaje humano, y los modelos mentales detrás de él, son estructuralmente más simples y más "legales" de lo que pensábamos. ChatGPT implícitamente ha descubierto esto. Pero podemos desenmascararlo explícitamente con gramáticas semánticas, lenguajes computacionales, etc.
ChatGPT se desempeña muy bien en la generación de texto, y los resultados suelen ser muy similares a los textos creados por humanos. ¿Significa esto que ChatGPT funciona como el cerebro humano? Su estructura de red neuronal artificial subyacente es, en última instancia, un modelo de un cerebro idealizado. Cuando los humanos generan lenguaje, muchos aspectos parecen ser muy similares.
Cuando se trata de entrenamiento (es decir, aprendizaje), las diferencias en el "hardware" (y algunas ideas algorítmicas subyacentes sin explotar) entre el cerebro y las computadoras actuales obligan a ChatGPT a usar una estrategia que puede ser bastante diferente de la del cerebro (y en algunos aspectos menos eficiente).
Una cosa más que vale la pena mencionar: incluso a diferencia de los cálculos algorítmicos típicos, no hay "bucle" o "recalcular datos" dentro de ChatGPT. Esto inevitablemente limita su poder de cómputo, incluso en comparación con las computadoras actuales, por no hablar del cerebro.
Todavía no está claro cómo "arreglar" este problema y al mismo tiempo permitir que el sistema entrene con una eficiencia razonable. Pero hacerlo puede permitir que los futuros ChatGPT realicen más "cosas similares al cerebro". Por supuesto, hay muchas cosas en las que el cerebro no es bueno, especialmente las que involucran computación irreducible. Para estos problemas, tanto el cerebro como ChatGPT deben recurrir a "herramientas externas" como Wolfram Language.
Pero por ahora, es muy emocionante ver lo que ChatGPT ha podido hacer. En cierto modo, es un excelente ejemplo de cómo se pueden hacer cosas extraordinarias y sorprendentes con una gran cantidad de elementos informáticos simples. También nos brinda la mejor motivación en más de 2000 años para comprender mejor la naturaleza y los principios de una característica central de la condición humana: el lenguaje humano y los procesos de pensamiento que lo sustentan.
2
el camino por delante
El aprendizaje automático es un enfoque poderoso, especialmente durante la última década, con algunos éxitos notables, siendo ChatGPT el último. Luego está el reconocimiento de imágenes, la conversión de voz a texto, la traducción de idiomas... y en cada caso, se cruza un umbral, a menudo repentinamente. Algunas tareas pasaron de ser "casi imposibles" a "casi factibles".
Pero los resultados nunca son "perfectos". Tal vez algo funcione bien el 95% de las veces. Pero no importa cuánto lo intente, su rendimiento sigue siendo esquivo el 5% restante del tiempo. En algunos casos, esto puede considerarse un fracaso. Pero el punto es que el 95% suele ser "suficientemente bueno" para varios casos de uso importantes. La razón podría ser que la salida es algo que no tiene una "respuesta correcta", o tal vez las personas simplemente están tratando de extraer algunas posibilidades para que los humanos (o los algoritmos del sistema) elijan o mejoren.
Una red neuronal con decenas de miles de millones de parámetros que generan texto token a token es realmente notable para poder hacer lo que ChatGPT puede hacer.
Dado este éxito dramático e inesperado, uno podría pensar que si pudiera "entrenar una red lo suficientemente grande", sería capaz de hacer cualquier cosa con ella. pero no es la verdad. Los hechos fundamentales sobre la computación, especialmente la noción de que la computación es irreducible, muestran que, en última instancia, es imposible deshacer.
Pero no importa, el punto es lo que hemos visto en la historia real del aprendizaje automático: habrá grandes avances (como ChatGPT), el progreso no se detendrá. Más importante aún, encontraremos casos de uso exitosos de lo que se puede hacer que no se ven frenados por lo que no se puede hacer. Si bien "ChatGPT sin formato" puede en muchos casos ayudar a las personas a escribir, dar consejos o generar texto que sea útil para varios documentos o comunicaciones, el aprendizaje automático no es la respuesta cuando las cosas deben hacerse a la perfección, como los humanos. No es lo mismo.
Esto es exactamente lo que vimos en el ejemplo anterior. ChatGPT sobresale en la "parte humana" donde no hay una "respuesta correcta" precisa. Pero cuando es "apresurado a los estantes" y necesita proporcionar contenido preciso, a menudo falla. El punto de estos ejemplos es que hay una buena manera de resolver este problema: conecte ChatGPT a Wolfram|Alpha (una nueva generación de motor de búsqueda desarrollado por Wolfram, que puede dar respuestas directamente en función de las preguntas) sitio web) para aprovechar todo su potencial computacional. conocimiento "superpoderes".
3
Dando "pensamiento" a ChatGPT
Dentro de Wolfram|Alpha, todo se traduce al lenguaje de la computación, al código preciso de Wolfram Language. Estos códigos tienen que ser "perfectos" de alguna manera para que su uso sea confiable. El punto es que ChatGPT no tiene que generar estos códigos. Genera su propio lenguaje natural común, que luego Wolfram|Alpha convierte a Wolfram Language preciso utilizando sus capacidades de comprensión del lenguaje natural.
En muchos sentidos, se puede decir que ChatGPT nunca "entiende realmente" las cosas, solo "sabe cómo generar algo útil". Pero Wolfram|Alpha es bastante diferente. Porque una vez que Wolfram|Alpha traduce algo a Wolfram Language, tenemos una representación formal completa, precisa y que podemos usar para calcular cosas de manera confiable. No hace falta decir que hay muchas cosas de "interés humano" que no tienen representaciones computacionales formales; aunque todavía podemos hablar de ellas en lenguaje natural, puede que no sea lo suficientemente preciso. Para estas cosas, ChatGPT solo puede confiar en sí mismo, y puede hacerlo muy bien en su propia capacidad.
Al igual que nosotros los humanos, ChatGPT a veces necesita una "asistencia" más formal y precisa . El punto es que no tiene que expresarse en un lenguaje "formal y preciso", porque Wolfram|Alpha puede comunicarse en un lenguaje natural equivalente al idioma nativo de ChatGPT. Wolfram|Alpha se encarga de "agregar forma y precisión" al traducir el lenguaje natural a su idioma nativo, Wolfram Language. Creo que es una situación realmente agradable con mucho potencial práctico.
Este potencial se puede utilizar no solo para los chatbots típicos y las aplicaciones de generación de texto, sino que también se puede ampliar para trabajar como la ciencia de datos u otras formas de computación (o programación). En cierto sentido, esta es la mejor manera de combinar directamente el mundo humano de ChatGPT con el mundo informático preciso de Wolfram Language.
¿Puede ChatGPT aprender Wolfram Language directamente? La respuesta es sí, de hecho ya ha comenzado a aprender. Realmente me gustaría que algo como ChatGPT eventualmente se ejecute directamente en Wolfram Language y sea muy poderoso gracias a ello.
Esta situación interesante y única es posible gracias al hecho de que Wolfram Language es un lenguaje computacional integral que puede hablar ampliamente sobre cosas en el mundo y en otros lugares en términos computacionales.
El concepto general de Wolfram Language es representar y procesar computacionalmente lo que pensamos los humanos. Los lenguajes de programación ordinarios están diseñados para decirles a las computadoras exactamente qué hacer, pero como un lenguaje informático completo, Wolfram Language va mucho más allá. En efecto, pretende ser un lenguaje que permita tanto a los humanos como a las computadoras "pensar computacionalmente".
Hace muchos siglos, cuando se inventó la notación matemática, los humanos primero tuvieron un medio simplificado para "pensar matemáticamente" sobre las cosas. Su invención pronto condujo al álgebra, el cálculo y, finalmente, a todas las ciencias matemáticas. El objetivo de Wolfram Language es hacer algo similar para el pensamiento computacional, no solo para los humanos, sino para habilitar todos los campos de la "ciencia computacional" que el paradigma computacional puede abrir.
Personalmente me he beneficiado mucho al usar Wolfram Language como un "lenguaje para pensar". Ha sido muy emocionante para mí ver cuánto progreso se ha hecho al "pensar computacionalmente" con Wolfram Language en las últimas décadas.
¿Qué hay de ChatGPT? También puede hacer eso, solo que no estoy seguro de cómo funcionará todo todavía. Pero claro, no se trata de que ChatGPT aprenda a hacer cálculos que Wolfram Language ya domina, se trata de que ChatGPT aprenda a usar Wolfram Language como un humano, ChatGPT genere "artículos creativos" en lenguaje computacional (en lugar de lenguaje natural), etc. esperar.
Discutí hace mucho tiempo el concepto de artículos computacionales escritos por humanos, que mezclan lenguajes naturales y computacionales. La pregunta ahora es si ChatGPT puede escribir estos artículos, utilizando Wolfram Language como una forma de brindar "comunicación significativa" tanto para humanos como para computadoras. Sí, aquí hay un circuito de retroalimentación potencialmente interesante que involucra la ejecución real del código de Wolfram Language.
Pero lo que es crucial es la riqueza de "pensamientos" y el flujo de "pensamientos" que representa el código de Wolfram Language, a diferencia de los lenguajes de programación ordinarios y más cercano a lo que ChatGPT maneja "como magia" en los lenguajes naturales.
En otras palabras, Wolfram Language es tan expresivo como el lenguaje natural, suficiente para escribir "sugerencias" significativas para ChatGPT. Así es, el código de Wolfram Language se puede ejecutar directamente en una computadora. Pero como una pista de ChatGPT, también se puede usar para "expresar" una "idea" que se puede continuar. Puede describir una estructura computacional, lo que permite que ChatGPT "cambie" lo que uno podría decir computacionalmente sobre esa estructura y, a partir de lo que se aprende al leer una gran cantidad de material escrito por humanos, es "realista que los humanos sean interesantes".
El éxito inesperado de ChatGPT abrió repentinamente todo tipo de posibilidades emocionantes. Por ahora, la oportunidad que podemos aprovechar de inmediato es dotar a ChatGPT de superpoderes en conocimientos informáticos a través de Wolfram|Alpha. De esta manera, ChatGPT no solo puede producir "resultados similares a los humanos", sino que también garantiza que estos resultados aprovechen toda la torre de computación y conocimiento encapsulada dentro de Wolfram|Alpha y Wolfram Language.
Lectura recomendada
