Dieser Artikel ist auch ein Artikel der LLM-Reihe, der auf die Übersetzung von „Teach LLMs to Personalize – An Approach Inspired by Writing Education“ abzielt.
LLM-Personalisierung lehren – ein Ansatz, der von der Schreibpädagogik inspiriert ist
Zusammenfassung
Die Erstellung personalisierter Texte ist ein aufstrebendes Forschungsgebiet, das in den letzten Jahren große Aufmerksamkeit erregt hat. Die meisten Forschungen in dieser Richtung konzentrieren sich auf bestimmte Bereiche, indem sie benutzerdefinierte Funktionen oder Modelle entwerfen. In dieser Arbeit schlagen wir eine allgemeine Methode zur Generierung personalisierten Textes mithilfe groß angelegter Sprachmodelle (LLMs) vor. Inspiriert von der Praxis der Schreibausbildung entwickeln wir einen mehrstufigen, aufgabenübergreifenden Rahmen, um LLM für die personalisierte Generation zu unterrichten. Im Schreibunterricht wird die Aufgabe, aus der Quelle zu schreiben, oft in Schritte unterteilt, die das Entdecken, Bewerten, Zusammenfassen, Synthetisieren und Integrieren von Informationen umfassen. Ebenso besteht unser Ansatz zur personalisierten Textgenerierung aus mehreren Phasen: Abrufen, Ranking, Zusammenfassung, Synthese und Generierung. Darüber hinaus führen wir ein Multitasking-Setting ein, das dem Modell hilft, seine generativen Fähigkeiten weiter zu verbessern, inspiriert durch die Beobachtung in der Bildung, dass die Lese- und Schreibfähigkeiten von Schülern oft korrelieren. Wir bewerten unsere Methode anhand von drei öffentlichen Datensätzen, die jeweils unterschiedliche repräsentative Domänen abdecken. Unsere Ergebnisse zeigen deutliche Verbesserungen gegenüber verschiedenen Ausgangswerten.
1. Einleitung
2. Verwandte Arbeiten
3 Problemformalisierung
4 Methodenübersicht
5 Personalisierte Textgenerierung
5.1 Suche
5.2 Sortieren
5.3 Zusammenfassung
5.4 Synthese
5.5 Personalisierte Generation
5.6 Multitasking-Lernen
6 Versuchsaufbau
7 Experimentelle Ergebnisse
8 Fazit
Wir schlagen einen allgemeinen Ansatz zum Unterrichten großer Sprachmodelle für die personalisierte Textgenerierung vor. Ähnlich wie die Schüler in einer Reihe von Schritten dazu angeleitet werden, aus Quellen zu schreiben, besteht die vorgeschlagene Methode aus mehreren Phasen: Abrufen, Einordnen, Zusammenfassung, Synthese und Generierung. Darüber hinaus erstellen wir, inspiriert von der Beobachtung, dass Lese- und Schreibfähigkeiten miteinander verbunden sind, eine Multitasking-Umgebung, die die Lesefähigkeit des Modells verbessert, indem sie den Autor eines bestimmten Dokumentpaars differenziert. Dieses Multitasking-Setup verbessert die Fähigkeit des Modells, personalisierten Text basierend auf Erfahrung zu generieren, weiter. Wir bewerten unser Modell anhand von drei öffentlich veröffentlichten Datensätzen aus repräsentativen Domänen. Unsere Ergebnisse zeigen die Wirksamkeit des mehrstufigen Multitask-Frameworks. Die Untersuchung von Kombinationen von Weltwissen, beispielsweise Produktinformationen, ist eine vielversprechende Richtung für zukünftige Arbeiten.