Neben der Nachahmung menschlicher Sprache, Schrift und Codierung können große Modelle auch zur Entdeckung neuen Wissens eingesetzt werden.
Als Top-Trend im KI-Kreis in diesem Jahr sind große Sprachmodelle (LLM) gut darin, Konzepte zu kombinieren und Menschen durch Lesen, Verstehen, Schreiben und Codieren bei der Lösung von Problemen zu helfen. Aber können sie völlig neues Wissen entdecken?
Die Verwendung von LLM zur nachweislich korrekten Entdeckung ist eine Herausforderung, da LLM nachweislich unter dem Problem der „Halluzination“ leidet, d. h. der Generierung von Informationen, die nicht mit den Tatsachen übereinstimmen.
Jetzt hat ein Forschungsteam von Google DeepMind eine neue Methode zur Suche nach Lösungen für Mathematik- und Informatikprobleme vorgeschlagen – FunSearch. FunSearch kombiniert vorab trainierte LLMs (die kreative Lösungen in Form von Computercode bereitstellen) mit automatischen „Evaluatoren“, um Halluzinationen und falsche Ideen zu verhindern. Durch das Hin- und Herwechseln zwischen diesen beiden Komponenten entwickelt sich die ursprüngliche Lösung zu „neuem Wissen“. Ein entsprechender Artikel wurde in der Zeitschrift Nature veröffentlicht.
Papieradresse: https://www.nature.com/articles/s41586-023-06924-6
Diese Arbeit ist die erste, die LLM nutzt, um neue Entdeckungen zu anspruchsvollen offenen Problemen in Naturwissenschaften oder Mathematik zu machen.
FunSearch hat eine brandneue Lösung für das Cap-Set-Problem entdeckt, ein seit langem offenes Problem in der Mathematik. Um den praktischen Nutzen von FunSearch zu demonstrieren, hat DeepMind es außerdem verwendet, um effektivere Algorithmen zur Lösung des „Boxing“-Problems zu entdecken, das ein breites Anwendungsspektrum hat, beispielsweise zur Verbesserung der Effizienz von Rechenzentren.
Das Forschungsteam glaubt, dass FunSearch ein besonders leistungsfähiges wissenschaftliches Werkzeug sein wird, da die von ihm ausgegebenen Programme offenbaren, wie ihre Lösungen aufgebaut sind, und nicht nur, was die Lösungen sind. Dies wird weitere Erkenntnisse der Wissenschaftler anregen und einen positiven Kreislauf wissenschaftlicher Verbesserungen und Entdeckungen schaffen.
Förderung der Entdeckung durch die Entwicklung von Sprachmodellen
FunSearch verwendet einen von LLM unterstützten evolutionären Ansatz, um die Ideen mit der höchsten Punktzahl zu fördern und voranzutreiben. Die Ideen werden in Computerprogrammen ausgedrückt, sodass sie automatisch ausgeführt und ausgewertet werden können.
Zunächst muss der Benutzer eine Beschreibung des Problems in Form von Code schreiben. Die Beschreibung umfasst den Prozess der Evaluierung des Programms und des Seed-Programms, das zur Initialisierung des Programmpools verwendet wird.
FunSearch ist ein iterativer Prozess, und in jeder Iteration wählt das System einige Programme aus dem aktuellen Programmpool aus und leitet sie an LLM weiter. LLM baut auf dieser Grundlage kreativ auf, generiert neue Programme und automatisiert deren Auswertung. Die besten Programme werden wieder zur bestehenden Bibliothek hinzugefügt, wodurch ein Zyklus der Selbstverbesserung entsteht. FunSearch verwendet Googles PaLM 2, ist jedoch mit anderen Code-trainierten Methoden kompatibel.
LLM ruft das am besten generierte Programm aus einer Programmdatenbank ab und wird gebeten, ein besseres Programm zu generieren.
Es ist bekannt, dass die Entdeckung neuer mathematischer Erkenntnisse und Algorithmen in verschiedenen Bereichen eine schwierige Aufgabe ist, die die Fähigkeiten aktueller, hochmoderner Systeme der künstlichen Intelligenz bei weitem übersteigt. Damit FunSearch dies tun kann, wurden in der Studie mehrere Schlüsselkomponenten eingeführt. Anstatt bei Null anzufangen, beginnt FunSearch einen Evolutionsprozess mit gesundem Menschenverstand für das Problem, sodass sich FunSearch auf die Suche nach den kritischsten Ideen konzentrieren kann, um neue Entdeckungen zu machen.
Darüber hinaus nutzt der Entwicklungsprozess von FunSearch eine Strategie zur Erhöhung der Ideenvielfalt, um stagnierende Situationen zu vermeiden. Um schließlich die Systemeffizienz zu steigern, wird der Evolutionsprozess parallel durchgeführt.
Neue Wege in der Mathematik beschreiten
DeepMind sagte, dass sie zunächst das Cap-Set-Problem lösen wollten, ein offenes Problem, das Mathematikern in verschiedenen Forschungsbereichen seit Jahrzehnten Rätsel aufgibt. Der berühmte Mathematiker Terence Tao beschrieb es einmal als sein liebstes offenes Problem. DeepMind entschied sich für die Zusammenarbeit mit Jordan Ellenberg, einem Mathematikprofessor an der University of Wisconsin-Madison, der einen wichtigen Durchbruch beim Cap-Set-Problem erzielt hat.
Das Problem besteht darin, die größte Punktmenge (Cap-Set genannt) in einem hochdimensionalen Gitter zu finden, in dem keine drei Punkte auf einer geraden Linie liegen. Dieses Problem ist wichtig, da es als Modell für andere Probleme der extremen Kombinatorik dienen kann. Unter extremer Kombinatorik versteht man die Untersuchung, wie groß oder klein eine Sammlung von Zahlen, Diagrammen oder anderen Objekten sein kann. Brute-Force-Methoden zum Abwickeln werden das Problem nicht lösen – die Zahl der zu berücksichtigenden Möglichkeiten wird schnell die Zahl der Atome im Universum übersteigen.
Die programmgesteuert generierten Lösungen von FunSearch fanden in einigen Fällen die größten Cap-Sets, die jemals erstellt wurden. Dies stellt den größten Anstieg der Cap-Set-Größe in den letzten 20 Jahren dar. Darüber hinaus übertrifft FunSearch modernste Computerlöser, da das Ausmaß des Problems ihre derzeitigen Fähigkeiten bei weitem übersteigt.
Das interaktive Diagramm zeigt die Entwicklung vom Seed-Programm (oben) zur neuen High-Scoring-Funktion (unten). Jeder Kreis stellt ein Programm dar und seine Größe ist proportional zur ihm zugewiesenen Punktzahl. In der Abbildung sind nur die Vorgesetzten des untersten Programms dargestellt. Die entsprechende von FunSearch für jeden Knoten generierte Funktion wird rechts angezeigt.
Diese Ergebnisse zeigen, dass die FunSearch-Technik es Menschen ermöglicht, bei schwierigen kombinatorischen Problemen, bei denen es schwierig ist, Intuition aufzubauen, über etablierte Ergebnisse hinauszugehen. DeepMind geht davon aus, dass dieser Ansatz bei neuen Entdeckungen zu ähnlichen theoretischen Problemen in der Kombinatorik eine Rolle spielen und in Zukunft neue Möglichkeiten für Bereiche wie die Kommunikationstheorie eröffnen wird.
FunSearch bevorzugt prägnante, für Menschen verständliche Programme
Während die Entdeckung neuer mathematischer Erkenntnisse an sich schon von Bedeutung ist, weist die FunSearch-Methode auch andere Vorteile gegenüber herkömmlichen Computersuchtechniken auf. Denn FunSearch ist keine Blackbox, die nur Lösungen für Probleme generiert. Stattdessen werden Programme generiert, die beschreiben, wie zu diesen Lösungen gelangt ist. Diese Art von „Show-your-working“ ist in der Regel die Art und Weise, wie Wissenschaftler arbeiten und neue Entdeckungen oder Phänomene erklären, indem sie die Prozesse beschreiben, die zu ihnen geführt haben.
FunSearch findet bevorzugt Lösungen, die durch hochkompakte Programme repräsentiert werden, also Lösungen mit geringer Kolmogorov-Komplexität (die Kolmogorov-Komplexität ist die Länge des kürzesten Computerprogramms, das eine Lösung ausgibt). Kurze Programme können sehr große Objekte beschreiben, wodurch FunSearch auf sehr komplexe Probleme skaliert werden kann. Darüber hinaus wird es für Forscher dadurch auch einfacher, die Programmausgabe von FunSearch zu verstehen. „FunSearch bietet einen völlig neuen Mechanismus zur Entwicklung von Angriffsstrategien“, sagte Ellenberg. „Die Lösungen, die FunSearch generiert, sind konzeptionell viel umfangreicher als nur eine Liste von Zahlen. Als ich sie studierte, habe ich ein paar Dinge gelernt.“
Noch wichtiger ist, dass diese Interpretierbarkeit des FunSearch-Programms Forschern umsetzbare Erkenntnisse liefern kann. Beispielsweise bemerkte DeepMind bei der Verwendung von FunSearch interessante Symmetrien im Code einiger seiner hoch bewerteten Ergebnisse. Dies gab DeepMind ein neues Verständnis des Problems und sie nutzten dieses Verständnis, um das Problem zu verbessern, indem FunSearch eingeführt wurde, um eine bessere Lösung zu finden. DeepMind glaubt, dass dies ein Beispiel für die Zusammenarbeit zwischen Menschen und FunSearch bei vielen Problemen im Bereich der Mathematik ist.
Links: Durch die Untersuchung des von FunSearch generierten Codes gewann DeepMind weitere umsetzbare Erkenntnisse (hervorgehoben). Rechts: Die ursprüngliche „akzeptable“ Menge, die mit dem (kürzeren) Programm links erstellt wurde.
Lösen Sie ein bekanntes Rechenrätsel
Ermutigt durch den Erfolg beim theoretischen Cap-Set-Problem beschloss DeepMind, seine Flexibilität zu erkunden, indem es FunSearch auf eine wichtige praktische Herausforderung in der Informatik anwendete – das Bin-Packing-Problem. Das Verpackungsproblem besteht darin, Artikel unterschiedlicher Größe in möglichst wenigen Kartons zu verpacken. Es ist der Kern vieler realer Probleme, von Transportcontainern mit Gegenständen bis hin zur Verteilung von Rechenarbeit in Rechenzentren, bei denen die Kosten minimiert werden müssen.
Online-Binning-Probleme werden häufig mithilfe algorithmischer Regeln (Heuristiken) gelöst, die auf menschlicher Erfahrung basieren. Es ist jedoch sehr schwierig, für jede spezifische Situation (je nach Größe, Zeit oder Kapazität) ein Regelwerk zu finden. Obwohl es sich stark vom Cap-Set-Problem unterscheidet, ist die Einrichtung von FunSearch für dieses Problem einfach. FunSearch bietet ein automatisch angepasstes Verfahren (angepasst an die Besonderheiten der Daten), das bestehende Heuristiken übertrifft – indem es weniger Kartons verwendet, um die gleiche Anzahl von Artikeln zu verpacken.
Beispiele für das Binning unter Verwendung bestehender Heuristiken – die Best-Fit-Heuristik (links) und die von FunSearch entdeckte Heuristik (rechts).
Komplexe kombinatorische Probleme wie Online-Binning können mit anderen Methoden der künstlichen Intelligenz gelöst werden, etwa mit neuronalen Netzen und Reinforcement Learning. Diese Methoden haben sich ebenfalls als wirksam erwiesen, erfordern jedoch möglicherweise auch erhebliche Ressourcen für die Bereitstellung. Andererseits gibt FunSearch Code aus, der einfach zu überprüfen und bereitzustellen ist, was bedeutet, dass seine Lösungen das Potenzial haben, auf eine Vielzahl realer Industriesysteme angewendet zu werden, was schnell Vorteile bringt.
DeepMind: Der Einsatz großer Modelle zur Bewältigung wissenschaftlicher Herausforderungen wird gängige Praxis werden
FunSearch zeigt, dass die Leistungsfähigkeit dieser Modelle nicht nur zur Generierung neuer mathematischer Entdeckungen, sondern auch zur Aufdeckung möglicher Lösungen für wichtige Probleme der realen Welt genutzt werden kann, wenn die Halluzination von LLMs verhindert werden kann.
DeepMind ist davon überzeugt, dass der Einsatz von LLM-gesteuerten Methoden zur Generierung effizienter und maßgeschneiderter Algorithmen für viele Probleme in Wissenschaft und Industrie – sowohl alte als auch neue – gängige Praxis werden wird.
Tatsächlich ist dies erst der Anfang. Während LLM weiterhin Fortschritte macht, wird sich FunSearch weiter verbessern. DeepMind sagte, dass man auch daran arbeiten werde, seine Fähigkeiten zu erweitern, um eine Vielzahl dringender wissenschaftlicher und technischer Herausforderungen in der Gesellschaft anzugehen.