Die menschliche Sprache und die dahinter stehenden Denkmuster sind strukturell einfacher und „gesetzmäßiger“, als wir uns vorstellen.
Das ChatGPT-Feuer hat sogar begonnen, die Art und Weise zu verändern, wie Menschen arbeiten und denken. Es vollständig zu verstehen und zu erkennen und gleichzeitig zukünftige Chancen zu erkennen, hat zu dem Geist geführt, den jeder kaum erwarten kann, aufzubauen. Mit Blick auf die Welt ist Stephen Wolframs „This is ChatGPT“ das einzige Buch, das die Prinzipien und die Zukunft von GPT erklären kann.
Unabhängig davon, ob Sie ihn kennen oder nicht, möchte ich Ihnen die Erfahrung dieser legendären Figur noch einmal aufrichtig vorstellen.
Er ist Professor für Physik, Mathematik und Informatik an der University of Illinois und ein „wissenschaftliches Genie“. Im Alter von 15 Jahren veröffentlichte er seine erste wissenschaftliche Arbeit über Teilchenphysik; im Alter von 19 Jahren ging er ans Caltech, um Elementarteilchenphysik zu studieren, und erlangte innerhalb eines Jahres einen Doktortitel in theoretischer Physik. Anschließend arbeitete er mit Feynman an zellularen Automaten.
Er ist außerdem Softwareentwickler und Geschäftsinhaber. Das von ihm gegründete Softwareunternehmen Wolfram Research hat Mathematica entwickelt, eine der vier größten mathematischen Softwareprogramme der heutigen Welt . Die Veröffentlichung von Mathematica markierte den Beginn des modernen technischen Rechnens und es ist das leistungsstärkste Allzweck-Computersystem der Welt. Auch Wolfram selbst galt aufgrund dieser Erfindung als „der große Förderer der Menschheit“ und stieg in die Riege der Multimillionäre auf.
1981 wurde Wolfram mit dem MacArthur „Genius“ Award ausgezeichnet und war damit der jüngste Preisträger aller Zeiten.
Im Mai 2009 veröffentlichte Wolfram eine Suchmaschine, WolframAlpha. „Die erste wirklich praktische künstliche Intelligenz“ . Es kann wirkungsvolle Antworten auf Fragen geben, daher wurde WolframAlpha kurz nach seinem Erscheinen als „ Google-Killer “ bezeichnet . Er und Jobs sind auch gute Freunde, wie zum Beispiel Siri, der Handy-Assistent von Apple, und die Wissensdatenbank dahinter wird tatsächlich von Wolfram|Alpha unterstützt.
Sein 1.197 Seiten starker Band „A New Kind of Science“ war bei seiner Veröffentlichung im Jahr 2002 ein Verkaufsschlager auf Amazon.
Er ist einer der klügsten Menschen der Gegenwart, der härteste Denker.
„Das ist ChatGPT“
[USA] Stephen Wolfram Übersetzt vom WOLFRAM Media Sinicization Team
1
Was genau macht ChatGPT? Warum kann es das tun?
Das Grundkonzept von ChatGPT ist in gewisser Weise recht einfach: Zuerst werden umfangreiche, von Menschen erstellte Textproben aus dem Internet, Büchern usw. abgerufen und dann ein neuronales Netzwerk trainiert, um „ähnlichen Text“ zu generieren. Insbesondere ist es in der Lage, mit einem „Hinweis“ zu beginnen und dann einen „Text ähnlich seinen Trainingsdaten“ zu generieren.
Wie wir sehen können, besteht das neuronale Netzwerk in ChatGPT tatsächlich aus sehr einfachen Elementen, wenn auch aus Milliarden davon. Die grundlegende Funktionsweise des neuronalen Netzwerks ist ebenfalls sehr einfach. Im Wesentlichen wird für jedes neue Wort (oder jeden Teil eines Wortes), das es generiert, die aus dem aktuell generierten Text erhaltene Eingabe der Reihe nach „einmal an alle seine Elemente“ weitergeleitet (Nr Schleifen usw. ).
Bemerkenswerterweise und unerwarteterweise kann dieser Prozess erfolgreich Texte produzieren, die den Inhalten im Internet, in Büchern usw. „ähnlich“ sind. ChatGPT kann nicht nur eine kohärente menschliche Sprache erzeugen, sondern auch „den Anweisungen folgen und etwas sagen“, basierend auf dem „gelesenen“ Inhalt. Es wird nicht immer in der Lage sein, Dinge zu sagen, die „im Großen und Ganzen Sinn machen“ (oder einer korrekten Berechnung entsprechen), da es (ohne die „Rechen-Superkräfte“ von Wolfram|Alpha zu nutzen) nur auf der Grundlage dessen, was im Training enthalten ist, „klingt“. Material. Wie „was“ etwas zu sagen, das „richtig klingt“.
Die spezifische Technik von ChatGPT ist ziemlich überzeugend. Aber (zumindest bis es in der Lage war, externe Tools zu verwenden) extrahierte ChatGPT „lediglich“ einige „kohärente Textstränge“ aus seinen gesammelten „Statistiken konventioneller Weisheit“. Aber die Menschenähnlichkeit der Ergebnisse ist überraschend genug.
Wie ich bereits besprochen habe, deutet dies auf etwas sehr Wichtiges hin, zumindest wissenschaftlich: dass die menschliche Sprache und die mentalen Modelle dahinter strukturell einfacher und „gesetzmäßiger“ sind, als wir dachten. ChatGPT hat dies implizit entdeckt. Aber wir können es explizit mit semantischen Grammatiken, Computersprachen usw. entlarven.
ChatGPT schneidet beim Generieren von Text sehr gut ab und die Ergebnisse sind oft sehr ähnlich zu von Menschen verfassten Texten. Bedeutet das, dass ChatGPT wie das menschliche Gehirn funktioniert? Die zugrunde liegende Struktur eines künstlichen neuronalen Netzwerks ist letztlich eine Modellierung eines idealisierten Gehirns. Wenn Menschen Sprache erzeugen, scheinen viele Aspekte sehr ähnlich zu sein.
Wenn es um Training (d. h. Lernen) geht, zwingen die Unterschiede in der „Hardware“ (und einigen unerschlossenen zugrunde liegenden algorithmischen Ideen) zwischen dem Gehirn und aktuellen Computern ChatGPT dazu, eine Strategie zu verwenden, die sich von der des Gehirns (und in mancher Hinsicht) deutlich unterscheiden kann weniger effizient).
Noch etwas ist erwähnenswert: Auch im Gegensatz zu typischen algorithmischen Berechnungen gibt es in ChatGPT keine „Schleife“ oder „Neuberechnung von Daten“. Dies schränkt zwangsläufig seine Rechenleistung ein – selbst im Vergleich zu aktuellen Computern, ganz zu schweigen vom Gehirn.
Es ist noch nicht klar, wie dieses Problem „behoben“ werden kann und das System dennoch mit angemessener Effizienz trainieren kann. Dadurch können zukünftige ChatGPTs jedoch möglicherweise mehr „gehirnähnliche Dinge“ ausführen. Natürlich gibt es viele Dinge, in denen das Gehirn nicht gut ist, insbesondere Dinge, bei denen es um irreduzible Berechnungen geht. Für diese Probleme müssen sowohl das Gehirn als auch Dinge wie ChatGPT auf „externe Tools“ wie die Wolfram Language zurückgreifen.
Aber im Moment ist es sehr spannend zu sehen, was ChatGPT leisten konnte. In gewisser Weise ist es ein hervorragendes Beispiel dafür, wie außergewöhnliche, erstaunliche Dinge mit einer großen Anzahl einfacher Computerelemente erreicht werden können. Es bietet uns auch die beste Motivation seit über 2.000 Jahren, die Natur und die Prinzipien eines zentralen Merkmals des menschlichen Daseins besser zu verstehen – der menschlichen Sprache und der ihr zugrunde liegenden Denkprozesse.
2
Die Straße entlang
Maschinelles Lernen ist ein leistungsstarker Ansatz, insbesondere im letzten Jahrzehnt, mit einigen bemerkenswerten Erfolgen – ChatGPT ist der jüngste. Dann gibt es Bilderkennung, Speech-to-Text, Sprachübersetzung … und in jedem Fall wird eine Schwelle überschritten – oft plötzlich. Einige Aufgaben gingen von „fast unmöglich“ zu „fast machbar“.
Aber die Ergebnisse sind nie „perfekt“. Vielleicht funktioniert etwas in 95 % der Fälle gut. Aber egal wie sehr Sie es auch versuchen, die Leistung bleibt in den restlichen 5 % der Zeit unerreichbar. In einigen Fällen kann dies als Fehler angesehen werden. Der Punkt ist jedoch, dass 95 % für verschiedene wichtige Anwendungsfälle oft „gut genug“ sind. Der Grund könnte sein, dass es sich bei der Ausgabe um etwas handelt, für das es keine „richtige Antwort“ gibt, oder vielleicht versuchen die Leute einfach, einige Möglichkeiten auszuloten, die Menschen (oder Systemalgorithmen) auswählen oder verbessern können.
Es ist wirklich bemerkenswert, dass ein neuronales Netzwerk mit Dutzenden Milliarden Parametern Text Token für Token generiert und das leisten kann, was ChatGPT leisten kann.
Angesichts dieses dramatischen, unerwarteten Erfolgs könnte man meinen, wenn man „ein ausreichend großes Netzwerk trainieren“ könnte, könnte man damit alles machen. aber es ist nicht die Wahrheit. Grundlegende Fakten über die Berechnung, insbesondere die Vorstellung, dass die Berechnung irreduzibel ist, zeigen, dass sie letztendlich rückgängig zu machen ist.
Aber egal, der Punkt ist der, den wir in der tatsächlichen Geschichte des maschinellen Lernens gesehen haben: Es wird große Durchbrüche geben (wie ChatGPT), der Fortschritt wird nicht aufhören. Noch wichtiger ist, dass wir erfolgreiche Anwendungsfälle dafür finden, was getan werden kann, die nicht durch das, was nicht getan werden kann, aufgehalten werden. Während „rohes ChatGPT“ in vielen Fällen Menschen beim Schreiben, beim Geben von Ratschlägen oder beim Generieren von Text helfen kann, der für verschiedene Dokumente oder Kommunikationen nützlich ist, ist maschinelles Lernen nicht die Antwort, wenn Dinge perfekt erledigt werden müssen – wie Menschen. Nicht dasselbe.
Genau das haben wir im obigen Beispiel gesehen. ChatGPT zeichnet sich durch den „menschenähnlichen Teil“ aus, bei dem es keine präzise „richtige Antwort“ gibt. Aber wenn es „geeilt in die Regale“ geht und präzise Inhalte liefern muss, scheitert es oft. Der Sinn dieser Beispiele besteht darin, dass es eine gute Möglichkeit gibt, dieses Problem zu lösen: Verbinden Sie ChatGPT mit der Wolfram|Alpha-Website (einer von Wolfram entwickelten Suchmaschine der neuen Generation, die direkt Antworten auf der Grundlage von Fragen geben kann), um die gesamte Rechenleistung zu nutzen Wissen „Supermächte“.
3
Über ChatGPT nachdenken
In Wolfram|Alpha wird alles in die Sprache der Berechnung übersetzt, in präzisen Wolfram Language-Code. Diese Codes müssen in irgendeiner Weise „perfekt“ sein, um zuverlässig verwendet werden zu können. Der Punkt ist, dass ChatGPT diese Codes nicht generieren muss. Es generiert seine eigene gemeinsame natürliche Sprache, die dann von Wolfram|Alpha mithilfe seiner Fähigkeiten zum Verständnis natürlicher Sprache in eine präzise Wolfram Language konvertiert wird.
In vielerlei Hinsicht kann man sagen, dass ChatGPT die Dinge nie „wirklich versteht“, sondern nur „weiß, wie man etwas Nützliches generiert“. Aber Wolfram|Alpha ist ganz anders. Denn sobald Wolfram|Alpha etwas in die Wolfram Language übersetzt, verfügen wir über eine vollständige, präzise, formale Darstellung davon, die wir zur zuverlässigen Berechnung von Dingen verwenden können. Unnötig zu erwähnen, dass es viele Dinge von „menschlichem Interesse“ gibt, für die es keine formale rechnerische Darstellung gibt – wir können zwar immer noch in natürlicher Sprache darüber sprechen, aber diese ist möglicherweise nicht genau genug. Bei diesen Dingen kann sich ChatGPT nur auf sich selbst verlassen, und es kann aus eigener Kraft sehr gut abschneiden.
Genau wie wir Menschen benötigt ChatGPT manchmal formellere und präzisere „Unterstützung“ . Der Punkt ist, dass es sich nicht in einer „formellen und präzisen“ Sprache ausdrücken muss, da Wolfram|Alpha in einer natürlichen Sprache kommunizieren kann, die der Muttersprache von ChatGPT entspricht. Wolfram|Alpha kümmert sich um „Form und Präzision“ bei der Übersetzung natürlicher Sprache in ihre Muttersprache, die Wolfram Language. Ich denke, es ist eine wirklich schöne Situation mit viel praktischem Potenzial.
Dieses Potenzial kann nicht nur für typische Chatbots und Textgenerierungsanwendungen genutzt werden, sondern kann auch auf Arbeiten wie Data Science oder andere Formen der Datenverarbeitung (oder Programmierung) ausgeweitet werden. In gewisser Weise ist dies der beste Weg, die menschenähnliche Welt von ChatGPT direkt mit der präzisen Computerwelt der Wolfram Language zu verbinden.
Kann ChatGPT die Wolfram Language direkt erlernen? Die Antwort lautet: Ja, tatsächlich hat es bereits mit dem Lernen begonnen. Ich würde mir wirklich wünschen, dass so etwas wie ChatGPT irgendwann direkt in der Wolfram Language läuft und dadurch sehr leistungsstark ist.
Diese interessante und einzigartige Situation wird durch die Tatsache ermöglicht, dass die Wolfram Language eine umfassende Computersprache ist, die in rechnerischer Hinsicht umfassend über Dinge in der Welt und anderswo sprechen kann.
Das Gesamtkonzept der Wolfram Language besteht darin, das, was wir Menschen denken, rechnerisch darzustellen und zu verarbeiten. Gewöhnliche Programmiersprachen sollen Computern genau sagen, was sie tun sollen, aber als umfassende Computersprache geht die Wolfram Language weit darüber hinaus. Tatsächlich soll es sich um eine Sprache handeln, die es sowohl Menschen als auch Computern ermöglicht, „rechnerisch zu denken“.
Vor vielen Jahrhunderten, als die mathematische Notation erfunden wurde, verfügten die Menschen erstmals über ein optimiertes Medium, um über Dinge „mathematisch zu denken“. Seine Erfindung führte bald zur Algebra, zur Analysis und schließlich zu allen mathematischen Wissenschaften. Das Ziel der Wolfram Language besteht darin, etwas Ähnliches für das computergestützte Denken zu tun, nicht nur für Menschen, sondern alle Bereiche der „Computerwissenschaft“ zu ermöglichen, die das Computerparadigma eröffnen kann.
Ich persönlich habe sehr davon profitiert, die Wolfram Language als „Sprache zum Denken“ zu verwenden. Für mich war es wirklich spannend zu sehen, welche Fortschritte das „rechnerische Denken“ mit der Wolfram Language in den letzten Jahrzehnten gemacht hat.
Was ist mit ChatGPT? Das kann es auch, ich bin mir nur noch nicht sicher, wie alles funktionieren wird. Aber klar, es geht nicht darum, dass ChatGPT lernt, wie man Berechnungen durchführt, die die Wolfram Language bereits beherrscht, sondern darum, dass ChatGPT lernt, die Wolfram Language wie ein Mensch zu verwenden, dass ChatGPT „kreative Artikel“ in Computersprache (anstelle natürlicher Sprache) generiert usw. Warten.
Ich habe vor langer Zeit das Konzept von Computerartikeln diskutiert, die von Menschen geschrieben wurden und natürliche und Computersprachen mischen. Die Frage ist nun, ob ChatGPT diese Artikel schreiben kann und dabei die Wolfram Language als Möglichkeit nutzt, „sinnvolle Kommunikation“ sowohl für Menschen als auch für Computer bereitzustellen. Ja, hier gibt es möglicherweise eine interessante Rückkopplungsschleife, die die tatsächliche Ausführung des Wolfram Language-Codes betrifft.
Entscheidend ist jedoch der Reichtum an „Gedanken“ und der „Gedankenfluss“, den der Wolfram Language-Code darstellt – anders als in gewöhnlichen Programmiersprachen und näher an dem, was ChatGPT in natürlichen Sprachen „wie von Zauberhand“ handhabt.
Mit anderen Worten: Die Wolfram Language ist genauso ausdrucksstark wie natürliche Sprache und reicht aus, um sinnvolle „Hinweise“ für ChatGPT zu schreiben. Richtig, Wolfram Language-Code kann direkt auf einem Computer ausgeführt werden. Aber als Hinweis auf ChatGPT kann es auch dazu verwendet werden, eine „Idee“ zu „ausdrücken“, die fortgeführt werden kann. Es kann eine rechnerische Struktur beschreiben, die es ChatGPT ermöglicht, das, was man rechnerisch über diese Struktur sagen könnte, „umzudrehen“, und aus dem, was es durch das Lesen einer Menge von Menschen geschriebenem Material gelernt hat, ist es „realistisch, dass es für Menschen interessant sein wird“.
Der unerwartete Erfolg von ChatGPT eröffnete plötzlich alle möglichen aufregenden Möglichkeiten. Die Gelegenheit, die wir jetzt sofort nutzen können, besteht darin, ChatGPT durch Wolfram|Alpha mit Superkräften im Bereich Computerwissen auszustatten. Auf diese Weise kann ChatGPT nicht nur „vernünftige, menschenähnliche Ausgaben“ erzeugen, sondern auch sicherstellen, dass diese Ausgaben den gesamten Rechen- und Wissensturm nutzen, der in Wolfram|Alpha und der Wolfram Language gekapselt ist.
Literatur-Empfehlungen
