Seit Sam Altman ChatGPT am 1. Dezember letzten Jahres öffentlich auf Twitter angekündigt hat, hat ChatGPT nach und nach weltweite Aufmerksamkeit erregt. Laut der Nachrichtenagentur Xinhua hatte ChatGPT im Januar dieses Jahres 100 Millionen aktive Benutzer pro Monat und ist damit die am schnellsten wachsende App in der Geschichte. Sogar die Forschung der Stanford University glaubt, dass sie bereits einen menschlichen Verstand hat.
Obwohl ChatGPT manchmal sachliche Fehler aufweist, haben uns sein inhärentes Open-Domain-Wissen, die Sprachverständnisfähigkeit, menschlichen Anweisungen zu folgen, das Schreiben von Code, mathematische Berechnungen und der gesunde Menschenverstand, einen großen Schock versetzt. Was den Bereich der Open-Domain-Fragebeantwortung betrifft, so unterscheidet sich ChatGPT vollständig von der früheren gängigen Fragebeantwortungstechnologie und bringt ein neues Paradigma und eine Veränderung mit sich.
„
In dieser Ausgabe von Tech Talk haben wir Liu Huiwen, einen Ingenieur aus dem Q&A-Team von Xiaomi , eingeladen, um die technologische Entwicklung von ChatGPT und Q&A-Anwendungen, einschließlich ChatGPT-bezogener Arbeit und Technologien, vorzustellen und den Open-Domain-Q&A-Service von ChatGPT für Xiaoai zu diskutieren bringt es zustande.
Hardcore-Index: ⭐⭐⭐⭐⭐
Hobbyindex: ⭐⭐⭐
Lesezeit: ca. 14 Minuten
1. Technischer Hintergrund
ChatGPT wurde von OpenAI ins Leben gerufen, einem gemeinnützigen (ursprünglichen) Labor, das 2015 von den Silicon-Valley-Tycoons Reed Hoffman, Elon Musk und anderen gegründet wurde, um die allgemeine AGI-Technologie für künstliche Intelligenz zu untersuchen. ChatGPT kann auch als stufenweise Leistung im Sinne seines Zwecks angesehen werden.
Derzeit wurden seine wissenschaftlichen Arbeiten nicht veröffentlicht, aber OpenAI erwähnte in seinem Blog, dass ChatGPT auf der Grundlage seines früheren InstructGPT entwickelt wurde. Es beinhaltet verwandte Arbeiten an der GPT-Serie sowie IFT (Instruction Fine-Tuning), CoT (Chain-of-Thought) und RLHF (Reinforcement Learning from Human Feedback) usw. Darüber hinaus wird derzeit angenommen, dass auch Codex, ein weiterer OpenAI-Job, in Verbindung steht. Im Allgemeinen ist ChatGPT nicht plötzlich aufgetaucht, und eine große Menge früherer Forschung und Technologieakkumulation hat die Bedingungen für seine Entstehung geschaffen.
Es ist erwähnenswert, dass viele Arbeiten nicht von OpenAI geleistet wurden. Sogar Yann LeCun, der Chefwissenschaftler von Meta, glaubt, dass „ChatGPT nicht viel Innovation hat, aber gut kombiniert ist. Was die zugrunde liegende Technologie betrifft, gibt es neben Google und Meta mehrere Unternehmen, die ähnliche Technologien haben ." Aber OpenAI stand auf den Schultern seiner Vorgänger, borgte und absorbierte andere Technologien und erreichte schließlich ChatGPT. Hier stellen wir zunächst den technischen Hintergrund der Geburt von ChatGPT vor .
>>>> 1.1 GPT1-3
ChatGPT basiert auf dem Modell der GPT-Serie (GPT3.5) nach der Feinabstimmung und dem Reinforcement-Learning-Training mit künstlichem Feedback. GPT (Generative Pre-Training) ist ein Sprachmodell (Language Model).Das früheste Modell GPT1 wurde von OpenAI im Juni 2018 eingeführt. GPT1 verfügt über etwa 100 Millionen lernbare Parameter und übernimmt den üblichen Vortrainings- und Feinabstimmungsmodus für NLP-Aufgaben (Natural Language Processing). Es ist erwähnenswert, dass das GPT1-Modell anschließend vom Google-Team ausgeliehen und modifiziert wurde und BERT im Oktober dieses Jahres eingeführt wurde. Vor ChatGPT galt BERT als generationenübergreifendes Werk im NLP-Bereich.
Das GPT2-Modell wurde im Februar 2019 nach BERT eingeführt. Verglichen mit GPT1 hat es mehr Parameter und erreicht 1,5 Milliarden, aber es ist immer noch schwächer als BERT im Modus Vortraining + Feinabstimmung. Aber beginnend mit GPT2 änderte OpenAI seine Perspektive und begann, vom Pre-Training + Fine-Tuning-Modus zum Zero-Sample-Learning zu wechseln. Nachfolgende Eingabeaufforderung, Anweisung und schließlich ChatGPT können auf natürliche Weise mit Benutzern interagieren, die alle aus dieser Transformation hervorgegangen sind. In puncto Popularität ist GPT2 vielleicht nicht so gut wie das Eröffnungswerk GPT1 und das spätere GPT3, aber als Bindeglied zwischen Vergangenheit und Zukunft ist es sehr wichtig.
Basierend auf GPT2 wurde GPT3 im Mai 2020 eingeführt. Seine Trainingsparameter erreichten 175 Milliarden. Ein derart umfangreicher Parameter erfordert eine Menge Rechenressourcen, um das Training abzuschließen, und die Trainingskosten haben Millionen von Dollar erreicht, was ein neues Wettrüsten für große Sprachmodelle auslöst.
GPT3 hat zwei wichtige Punkte: Erstens schlägt es ein neues Paradigma vor, In-Context Learning, das als verwandt mit CoT und IFT betrachtet werden kann, und zweitens hat GPT3 begonnen, die Entstehung großer Sprachmodelle aufzuzeigen (Emergent Abilities). Emergenzfähigkeit bedeutet für Laien, dass wenn die Anzahl der Parameter des Modells relativ klein ist (wie die 100-Millionen- oder 1,5-Milliarden-Parameterskalen von GPT1 und GPT2), das Modell keine oder schwächere zugehörige Fähigkeiten hat, aber wann die Parametermenge ändert sich Mit zunehmendem Alter werden diese Fähigkeiten plötzlich sehr stark sein oder werden. GPT3 führte Experimente mit Addition und Subtraktion in der Mathematik durch. Wenn das Modell die Parameterskala von GPT3 erreicht, werden seine zweistelligen Additions- und Subtraktionsoperationen viel besser sein. Emerging Power ist eine unerwartete Entdeckung, und bisher hat die akademische Gemeinschaft keine gute Erklärung für dieses Phänomen geliefert.
>>>> 1.2 ZF
Der vollständige Name von IFT lautet Instruction Fine-Tuning, was als Feinabstimmung nach Anweisungen bezeichnet werden kann. Laienhaft ausgedrückt geht es darum, einen Stapel von Trainingsdaten entsprechend der Art und Weise der menschlichen Sprache oder Befehle zu organisieren, um große Sprachmodelle (wie GPT3) zu optimieren. Dieses fein abgestimmte Modell ähnelt bereits ChatGPT, das besser „verstehen“ kann, was Leute sagen oder Befehle geben, und dann auf dieser Grundlage Antworten geben kann. Die frühere Arbeit auf diesem Gebiet ist FLAN, das von Google im Oktober 2021 vorgeschlagen wurde. FLAN wird im InstructGPT-Papier erwähnt und gilt als mit der ChatGPT-Technologie verwandt.
>>>> 1.3 CoT
Der vollständige Name von CoT lautet Chain-of-Thought, was auf Chinesisch Denkkette heißt und erstmals von Google Brain auf NeurIPS 2022 veröffentlicht wurde. Die einfach beschriebene Denkkette besteht darin, ein großes Sprachmodell zu verwenden, um Fragen zu beantworten, einige Beispiele zu geben und den Begründungsprozess der gesamten Frage in diesen Beispielen anzugeben. Wenn Sie beispielsweise eine mathematische Anwendungsaufgabe lösen, müssen Sie dem Modell zunächst ein Beispiel geben. Das Beispiel muss den Fragenstamm und die Antwort enthalten. Der Fokus der Denkkette liegt darauf, den Zwischenprozess so zu gestalten, wie es die Schüler tun das Problem. Im Gegensatz zur Denkkette ist im gegebenen Beispiel kein Zwischenprozess vorgegeben, sondern nur der Fragestamm und die endgültige Antwort. Darüber hinaus gibt es eine weitere Art von Denkkette, die das Modell dazu anregt, den Zwischenprozess zu generieren („Lasst uns Schritt für Schritt denken“), und schließlich die Antwort auf der Grundlage des modelleigenen Herleitungsprozesses gibt.
Das Denken wird als eng mit der Fähigkeit von ChatGPT verbunden angesehen.Wenn ChatGPT beispielsweise die Frage nach Hühnern und Kaninchen im selben Käfig beantwortet, gibt es einen Zwischenableitungsprozess. Sein wichtigerer Punkt ist, dass es ohne Neutraining oder Feinabstimmung des großen Sprachmodells, sondern nur durch Hinzufügen der Beschreibung der Zwischenschritte im gegebenen Beispiel, die Leistung des großen Sprachmodells bei Aufgaben wie mathematischen Berechnungen und logischen Berechnungen erheblich verbessern kann Argumentation Leistung. Daher glauben einige Forschungsgesichtspunkte, dass mathematische Berechnungen und logisches Denken die aufkommenden Fähigkeiten großer Sprachmodelle sind. Diese Fähigkeiten werden natürlich erscheinen, nachdem die Modellgröße und der Trainingskorpus ein bestimmtes Niveau erreicht haben, und die Denkkette und andere Methoden sind es Diese Fähigkeit wurde nur freigeschaltet (oder Erwachen genannt).
>>>> 1.4 RLHF
RLHF, der vollständige Name von Reinforcement Learning from Human Feedback, ist Verstärkungslernen aus menschlichem Feedback. Im Gegensatz zu den großen unbeschrifteten Textdaten, die vom Modell in der Vortrainingsphase verwendet werden, verwendet die Feinabstimmungsphase manuell beschriftete Trainingsdaten. RLHF wird manuelle Eingriffe während des Trainingsprozesses einführen. Die vom Modell generierten Ergebnisse werden von den Annotatoren verglichen und sortiert, und dann wird dieser Datenstapel verwendet, um das Training und die Iteration des Modells zu steuern. Die Datenannotationsqualität von OpenAI wird als relativ hoch eingeschätzt, RLHF hat nach manuellen Eingriffen die Ausgabe von schädlichen und unwahren Inhalten teilweise reduziert.
>>>> 1.5 Kodex
Neben dem oben erwähnten IFT, CoT und RLHF kann Codex, ein weiteres Werk von OpenAI, mit den Fähigkeiten zum Schreiben von Code und logischem Denken von ChatGPT in Verbindung stehen.Codex ist auch die Technologie hinter GitHubs KI-Code-Vervollständigungstool Copilot. Bevor GPT3 durch Textauswahl im Internet trainiert wurde, fügte Codex den Code während des Trainingsprozesses auf GitHub hinzu und entwickelte ein Bewertungssystem. Nach den Ergebnissen des Papiers zu urteilen, übertrifft es GPT3 in Bezug auf die Codierungsfähigkeit bei weitem.
Anhand der Einleitung sieht man, dass ChatGPT nicht plötzlich aufgetaucht ist, sondern die ihm zugrunde liegende Technologie auch in anderen Unternehmen angehäuft hat, noch früher und mehr. OpenAI hat es geschafft, die Stärken jedes Unternehmens zu integrieren und schließlich altersübergreifende Erfolge zu erzielen.
2. Q&A Geschäftsdiskussion
Open-Domain Q&A befasst sich mit wissensbasierten Fragen, die nicht auf Domains beschränkt sind. Hier diskutieren wir die Auswirkungen von ChatGPT auf das Q&A-Geschäft . Es muss gesagt werden, dass ChatGPT bereits in der Lage ist, jede Frage in jedem Bereich zu beantworten. Das Folgende zeigt die Wirkung von ChatGPT auf verschiedene Arten von Wissensproblemen.
>>>> 2.1 Beispiel
▍ 2.1.1 Sprache _
Abbildung 1. Beispiel für die Beantwortung von Sprachfragen durch ChatGPT
▍ 2.1.2 Mathematik
Abbildung 2. Beispiel für die Beantwortung einer mathematischen Frage durch ChatGPT
▍ 2.1.3 Physik
Abbildung 3. Beispiel für ChatGPT, das physikalische Fragen beantwortet
Es ist ersichtlich, dass ChatGPT mit Fachkenntnissen wie Sprache, Mathematik und Objekten umgehen kann, und bei komplexeren mathematischen und physikalischen Problemen liefert ChatGPT nicht nur die Ergebnisse, sondern auch einen ausreichenden Ableitungsprozess. Neben Fachwissen schneidet ChatGPT auch bei Long-Tail-Fragen zum Allgemeinwissen gut ab.
▍ 2 .1.4 Gesunder Menschenverstand
Abbildung 4. Beispiel für ChatGPT, das allgemeine Wissensfragen beantwortet
>>>> 2.2 Unzureichend
ChatGPT hat bereits eine starke Frage-und-Antwort-Fähigkeit.Wenn es einige Mängel gibt, denken wir, dass es vier Punkte gibt:
① Manchmal gibt es sachliche Fehler, und es ist unmöglich zu beurteilen, ob die Antwort richtig oder falsch ist, wie in Abbildung 5 unten gezeigt;
② Sie können nicht wie bei der Google-Suche nach neuen Informationen suchen und können nicht die neuesten Erkenntnisse abrufen;
③ Manchmal ist das Ergebnis nicht stabil und die ChatGPT-Antwort kann sich ändern, nachdem die Fragemethode geändert wurde, wie in Abbildung 6 unten gezeigt;
④ Mangel an Interpretierbarkeit, was auch ein häufiges Problem des aktuellen Modells ist.
Natürlich halten wir die oben genannten Probleme für unbedeutend im Vergleich zu den Änderungen, die ChatGPT derzeit bringen kann.
Abbildung 5. Die Antwort von ChatGPT enthält einen sachlichen Fehler
Abbildung 6. Ein Beispiel für eine instabile Antwort
>>>> 2.3 Anwendung
Wir können uns vorstellen, wie ChatGPT und verwandte Technologien in der Open-Domain-Fragenbeantwortungsszene von Xiaoai angewendet werden können. Im Moment gibt es zwei Probleme bei der direkten Übernahme von ChatGPT: Erstens produziert es manchmal sachliche Fehler und die Leute können es nicht unterscheiden; zweitens verbraucht es viele Rechenressourcen und ist teuer.
Basierend auf den oben genannten Merkmalen glauben wir, dass traditionelle Technologie immer noch benötigt wird, um stabile und zuverlässige Dienste für hochfrequente und regelmäßige Fragen und Antworten bereitzustellen, aber die Open-Domain-Frage-und-Antwort-Funktion von ChatGPT kann verwendet werden, um mit Long-Tail- und Low-Tail-Fragen umzugehen. Häufigkeit Fragen und Antworten. Angemessenes Design der Produktform in Kombination mit den von Suchmaschinen bereitgestellten Antworten kann den Benutzern ein besseres Produkterlebnis bieten.
Neben der direkten Online-Nutzung kann ChatGPT auch als Offline-Tool in Q&A eingesetzt werden. Am Beispiel der Datenkonstruktion seien zur kurzen Erläuterung zwei Beispiele aufgeführt:
● Ergänzung der aus Slots extrahierten Trainingsdaten;
● Ergänzen Sie die Long-Tail-Frage-Antwort-Paardaten.
① Trainingsdatenergänzung für Slotextraktion
ChatGPT selbst verfügt über eine starke In-Context-Learning-Fähigkeit und muss lediglich ein Beispiel für die Slot-Extraktion bereitstellen, die die automatische Extraktion von Slots aus Benutzerfragen imitieren kann, wie in Abbildung 7 unten gezeigt. Auf diese Weise kann unmarkierter Text an ChatGPT gesendet werden, um Slot-Informationen automatisch zu extrahieren, und nach manueller Überprüfung kann er als Trainingsdaten verwendet werden.
Abbildung 7. Beispiel für Slot-Extraktion
② Frage und Antwort zur Datenergänzung
Meistens erfordert die Erhebung von Q&A-Daten viel Arbeitskraft für Produkte, Abläufe und die Benotung von Schülern. Mit ChatGPT können Sie direkt nach der Vorbereitung Ihrer Fragen Antworten generieren. Es kann sachliche Fehler in der Antwort von ChatGPT geben, und vor der offiziellen Verwendung ist eine manuelle Überprüfung erforderlich, aber diese Methode ist viel bequemer als das direkte Sammeln von Daten.
Abbildung 8. Die Antworten von ChatGPT zum gesunden Menschenverstand im Leben können zur Ergänzung von Daten verwendet werden
3. Fazit und Ausblick
ChatGPT verfügt über eine starke Open-Domain-Fragebeantwortungsfähigkeit, die eine wohlverdiente altersübergreifende Errungenschaft in Bezug auf die Fragebeantwortungstechnologie mit unbegrenzten Aussichten und einer vielversprechenden Zukunft darstellt. Obwohl wir einige seiner Mängel erwähnt haben, wie z. B. sachliche Fehler, Unfähigkeit, sich neues Wissen anzueignen, usw., können diese Probleme im Rahmen des aktuellen globalen ChatGPT-Booms vermieden oder gelöst werden.
Nehmen Sie das Problem des sachlichen Fehlers, soweit es den gegenwärtigen Stand betrifft, scheint es ein Problem zu sein, das durch große Sprachmodelle nicht vollständig und gründlich gelöst werden kann. Aber wenn einige Materialien als Referenz oder Grundlage angegeben werden, wenn die Ergebnisse angegeben werden, dann können die Menschen die Authentizität der Ergebnisse selbst beurteilen. Soweit wir wissen, gibt es diesbezügliche Forschungsarbeiten zum Hinzufügen von Referenzmaterial zu den generierten Ergebnissen von Sprachmodellen. Was das Abrufen neuer Informationen betrifft, tut Sparrow von DeepMind dies tatsächlich bereits, und wir haben Grund zu der Annahme, dass zukünftige Modelle über relevante Fähigkeiten verfügen werden. In diesem Fall können Sie nicht nur die Fragen mit Bezug und Grundlage in den Antworten lösen, sondern auch versuchen, zeitlich relativ neue Fragen zu beantworten. Darüber hinaus glaube ich, dass es in Bezug auf den großen Ressourcenverbrauch des Modells und die Frage, ob es miniaturisiert werden kann, nachdem ChatGPT weltweite Aufmerksamkeit erregt hat, relevante Forschungsfolgen geben wird. Wir gehen optimistisch davon aus, dass ChatGPT in Zukunft besser für die Beantwortung von Open-Domain-Fragen eingesetzt wird.
Obwohl ChatGPT unbegrenzte Aussichten hat, wird es die bestehende Frage-Antwort-Technologie jedoch nicht vollständig ersetzen. Die Fähigkeit von ChatGPT zur Beantwortung von Fragen im allgemeinen Bereich ist zwar sehr stark, aber im vertikalen Bereich, der extrem umfangreiches Domänenwissen erfordert, ist ChatGPT nicht unbedingt geeignet.
Abbildung 9 unten zeigt die Antwort von ChatGPT auf Fragen zu chinesischen Wörtern, die Pinyin-bezogenes Wissen beinhalten.Obwohl etwas Wahres zu sein scheint, ist das Ergebnis falsch. Diese detaillierten Bereiche erfordern eine spezialisierte Datenkonstruktion, aber um einen segmentierten Bereich zu beantworten, ist es unwahrscheinlich, dass ChatGPT neu trainiert wird. Daher wird die traditionelle Frage-Antwort-Methode auch in Zukunft in professionellen Frage-Antwort-Bereichen wie Kundenservice, E-Commerce und medizinischer Behandlung gewisse Vorteile haben. Im zukünftigen Frage-Antwort-Format können traditionelle Frage-und-Antworten mit ChatGPT koexistieren und sich gegenseitig ergänzen. Genauso wie das aktuelle BERT nicht in allen Aufgabenstellungen traditionelle maschinelle Lernmethoden ersetzt.
Abbildung 9. ChatGPT macht sachliche Fehler bei chinesischen Wortfragen
Verweise
[1] Verbesserung des Sprachverständnisses durch generatives Vortraining
[2] Sprachmodelle sind unüberwachte Multitasking-Lernende
[3] Sprachmodelle sind Few-Shot-Lerner
[4] Feinabgestimmte Sprachmodelle sind Zero-Shot-Lerner
[5] Eine Gedankenkette, die auffordert, logisches Denken in großen Sprachmodellen hervorzurufen
[6] Große Sprachmodelle sind Zero-Shot Reasoner
[7] Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu folgen
[8] Bewertung großer Sprachmodelle, die auf Code trainiert wurden
[9] Emergente Fähigkeiten großer Sprachmodelle
[10] Verbesserung der Ausrichtung von Dialogagenten durch gezielte menschliche Urteile
Über welche anderen Technologien möchten Sie mehr erfahren? Hinterlassen Sie gerne eine Nachricht im Kommentarbereich, und wir werden weiterhin Ingenieure einladen, sich über Themen auszutauschen, die Ihnen wichtig sind. Für mehr Hardcore-Wissen achten Sie bitte weiterhin auf Xiaomi Tech Talk!
