Baichuan veröffentlicht 53 Milliarden große Modelle mit Suchfunktionen: Das erste Testerlebnis ist da
Original Zenan Machine Heart 2023-08-09 12:53 Gepostet auf Peking
Heart of the Machine-Bericht
Bearbeiten: Zenan
Die Parametergröße wurde verbessert, in Suchmaschinen integriert und der Zieldienst ist B-seitig.
Drei Monate in Folge hat Baichuan Intelligent, gegründet von Wang Xiaochuan, gestern ein großes Modell veröffentlicht.
Am 8. August gab Baichuan Intelligent in Peking bekannt, dass die neue Generation des Großmodells Baichuan-53B offiziell vorgestellt wurde . Gleichzeitig wurden Wang Xiaochuan und andere Führungskräfte des Unternehmens von den Medien interviewt.
„Die Leute denken normalerweise, dass die Veröffentlichung eines großen Modells mindestens ein halbes Jahr dauert, von der Vorbereitung der Datensammlung über das Training bis zur Feinabstimmung. Wir haben nur zwei Monate gebraucht, um das erste Modell auf den Markt zu bringen, und die endgültige Qualität wurde auch von gelobt.“ der Außenwelt", sagte der ehemalige CEO von Sogou, Wang Xiaochuan, Gründer von Baichuan Intelligent. „Im Vergleich zu den vorherigen wurde die Parameterskala von Baichuan-53B erheblich verbessert und die Schreibfähigkeit wurde erheblich verbessert.“
Vom 7B-Modell am 15. Juni, dem 13B-Modell am 11. Juli bis auf aktuell 53 Milliarden ist das Volumen des Baichuan-Großmodells rasant gestiegen. Dieses Mal kündigte Baichuan Intelligent auch die Website des großen Modells an und öffnete die Anwendung für interne Tests.
Link: https://chat.baichuan-ai.com/home
Vor Ort demonstrierte Wang Xiaochuan persönlich einige der Fähigkeiten der neuen Generation großer Modelle.
Posten Sie einen Freundeskreis im Stil von Gulong-Artikeln:
Vervollständigen Sie das Skript für eine kurze Videoanzeige:
Baichuan Intelligent sagte, dass Baichuan-53B in Bezug auf Kreativität, Stilimitation und Praktikabilität der Texterstellung recht gut abschneiden und bei den meisten Aufgaben eine gute Antwort geben kann.
Nach der gestrigen Veröffentlichung wurde das Herzstück der Maschine auch vom internen Test eingeladen, einen einfachen Test durchzuführen, der sich auf das Erleben der von Baichuan Intelligent erwähnten Textgenerierungs- und Suchfunktionen konzentrierte .
Probieren Sie die Kompositionsfragen für die Aufnahmeprüfung für das Pekinger College 2023 aus:
Es ist ersichtlich, dass Baichuan 53B einige aktuelle Neuigkeiten versteht und integrieren kann:
Aber gleichzeitig scheinen die großen Models nicht zu glauben, dass sie in der Lage sind, Nachrichten in Echtzeit zu erhalten.
In Bezug auf Baichuan-53B betonte Sogou, dass das große Modell und die Suche in hohem Maße integriert seien, in der Hoffnung, durch diesen Mechanismus eine Grundlage für zukünftige Suchmodelle zu legen.
Baichuan glaubt, dass die Suchverbesserung ein wirksames Mittel zur Lösung von Modellaktualität und Halluzinationen ist . Die Kombination von Suchtechnologie mit großen Sprachmodellfunktionen ermöglicht eine innovative Modelloptimierung und verbessert die Benutzerfreundlichkeit von KI-Antworten.
Berichten zufolge integriert das Suchverbesserungssystem des großen Baichuan-Modells mehrere Module, darunter Komponenten wie Befehlsabsichtsverständnis , intelligente Suche und Ergebnisverbesserung . Das System treibt die Suche nach Abfragewörtern präzise voran , indem es die Benutzeranweisungen genau versteht , und kombiniert die Technologie großer Sprachmodelle, um die Zuverlässigkeit der Modellergebnisgenerierung zu optimieren. Durch diese Reihe von Synergien ermöglicht das große Modell präzisere und intelligentere Antworten auf Modellergebnisse und reduziert auf diese Weise Modellhalluzinationen.
Im Vergleich zur ChatGPT-Verknüpfung mit der Bing-Suche in Form eines Plug-Ins integriert das große Modell von Baichuan die Suche tiefer, Baichuan gab jedoch nicht bekannt, mit welcher Suchmaschine es zusammenarbeitet.
Darüber hinaus verfügt Baichuan in der dynamischen Reaktionsstrategie auch über eine eigene Einzigartigkeit, die die Befehlsaufgaben in 16 unabhängige Kategorien verfeinert . Diese Kategorien decken verschiedene Szenarien von Benutzeranweisungen ab, darunter präzise Fragen und Antworten, logisches Denken , Brainstorming usw., und jede Anweisungskategorie ist personalisiert und optimiert. Um dieses Ziel zu erreichen, basiert das neue Modell auf der Prompt-Augmentation-Technik, die das Modell durch die Erstellung spezifischer Eingabeaufforderungen anleitet, die gewünschte Ausgabe zu generieren. Dieser Ansatz stellt sicher, dass das Modell angemessen auf verschiedene Arten von Anweisungen reagiert.
Darüber hinaus diskutierte Baichuan Intelligent Methoden wie dynamische Hyperparameter-Anpassungstechnologie, intelligente Suchbegriffgenerierung, hochwertiges Suchergebnis-Screening und RLHF-Suchergebnisverbesserung. Zusätzlich zum Vortraining großer Modelle betonte Baichuan die Bedeutung der Ausrichtungsoptimierung (Alignment Tuning), um die Qualität des Antwortinhalts zu verbessern.
„Ich verspüre jetzt ein größeres Erfolgserlebnis als damals, als ich noch eine Suchmaschine war “, sagte Wang Xiaochuan. „Vor der Ära der großen Modelle hatte Sogou Transformer sehr früh eingesetzt , aber wir konnten die Suche nicht effektiv in ein praktisches Frage-Antwort-Modell umwandeln. Aber jetzt können wir solche Fähigkeiten einfacher realisieren.“
Es ist erwähnenswert, dass Baichuan nach der Vergrößerung des Modells die bisherige Open-Source-Methode nicht fortsetzte. Baichuan-53B plant, nächsten Monat APIs und Komponenten zu öffnen und die Geschäftsausrichtung und die Berufsfelder zu stärken, um die Umsetzung zu fördern.
„Die von uns bereitgestellten großen Modelle können direkt für die Durchführung von Benchmark-Tests verwendet werden, was in der Branche selten vorkommt. Diese Produkte sind nicht für einzelne Szenarien optimiert und können zum Basismodell von to B werden“, sagte Wang Xiaochuan.
Am 10. April 2023 gab Wang Xiaochuan offiziell die Gründung von Baichuan Intelligence bekannt, das sich zum Ziel gesetzt hat, eine allgemeine intelligente Technologie zu entwickeln, die OpenAI misst und ein grundlegendes großes Modell und disruptive Anwendungen auf höherer Ebene erstellt. Während das technische Team weiter wächst, hat Baichuan auch nach und nach selbst entwickelte große Modelle auf den Markt gebracht.
Am 15. Juni brachte Baichuan Intelligent das chinesisch-englische Sprachmodell Baichuan-7B mit 7 Milliarden Parametern auf den Markt und belegte den ersten Platz in vielen weltweit maßgeblichen Benchmark-Listen. Am 11. Juli veröffentlichte Baichuan Intelligence ein allgemeines großes Sprachmodell Baichuan-13B-Base mit einem Parametervolumen von 13 Milliarden, ein Dialogmodell Baichuan-13B-Chat und zwei quantisierte Versionen von INT4/ INT8 .
Was die Finanzierung betrifft, schloss Baichuan Intelligent im Mai die Angel-Finanzierungsrunde ab und erhielt gemeinsame Investitionen von mehr als zehn Institutionen, darunter Tencent, Xiaomi, Kingsoft, Muhua Capital und Tsinghua University Asset Management Co., Ltd.
Vom Geschäftsmodell her hofft Baichuan Intelligent, langfristig „Superanwendungen“ im Consumer-Bereich erwerben und bauen zu können. Im B-Bereich mit relativ klaren Zielen ist die Geschwindigkeit des Markteintritts zwar nicht die schnellste, aber das Unternehmen hat seine Stärke auch durch Open Source und andere Methoden unter Beweis gestellt.
„Aus Sicht von to B haben sowohl Open-Source- als auch Closed-Source-Großmodelle Raum für Entwicklung. Wir glauben, dass 80 % der Unternehmen in Zukunft Informationen auf Basis von Open-Source-Modellen aufbauen müssen “, sagte Wang Xiaochuan. „Derzeit bewerben sich mehr als 150 Unternehmen für die Nutzung unseres Großmodells.“
Baichuan Intelligent plant , im dritten und vierten Quartal dieses Jahres weiterhin Hunderte Milliarden und Billionen Großmodelle auf den Markt zu bringen und Produkte mit dem höchsten inländischen Niveau und Benchmarking mit der GPT-Serie zu bauen.