Dieser Artikel ist zusammengestellt aus der Keynote-Rede „Baidu Intelligent Cloud Qianfan Large Model Platform 2.0 Product Technology Analysis“ von Xin Zhou, General Manager von Baidu Intelligent Cloud AI & Big Data Platform, auf der Baidu Cloud Intelligence Conference – Intelligent Computing & Large Model Technology Unterforum am 5. September 2023. 》.
Dies ist ein Forum zu technischen Themen. Ich werde Ihnen zunächst drei kleine Fragen von Entwicklern stellen.
Die erste Frage: Wer ist der Erfinder der Dampfmaschine?
War es Watt, der berühmte Entwickler im 18. Jahrhundert? Tatsächlich war Newcomen 60 Jahre früher als Watt. Watt führte auf der Grundlage der Newcomen-Dampfmaschine viele Verbesserungen durch, steigerte deren Effizienz erheblich und leitete die erste industrielle Revolution ein.
Weiter mit der Frage: Wissen Sie, wer den Generator erfunden hat?
Faraday erfand 1831 den ersten Gleichstromgenerator der Welt und mehr als 50 Jahre später, 1887, erfand Tesla den Wechselstromgenerator. Wechselstromgeneratoren machen die Stromübertragung effizienter und können daher über größere Entfernungen übertragen werden. Mit der Popularität von Wechselstrom hat sich der Prozess der zweiten industriellen Revolution erheblich beschleunigt.
Letzte Frage: Wie hieß der erste Computer der Welt?
ENAIC wurde 1946 an der University of Pennsylvania geboren. Mehr als zehn Jahre später, im Jahr 1959, mit der Erfindung des integrierten Schaltkreises durch Noyce von der Fairchild Corporation, begannen sich Computer in großem Maßstab zu verbreiten und wurden zu einem wichtigen Eckpfeiler der dritten industriellen Revolution.
Jeder muss erraten haben, warum es diese drei Fragen gibt. Wenn eine Technologie erfunden und tatsächlich in großem Maßstab angewendet wird, durchläuft sie mit Sicherheit einen Prozess der Effizienzsteigerung, Kostensenkung und groß angelegten Popularisierung.
Im Zeitalter großer Modelle setzt sich die Baidu Intelligent Cloud Qianfan Large Model Platform dafür ein, diesen Prozess zu fördern, die Effizienz der Entwicklung und Anwendung großer Modelle erheblich zu verbessern, Kosten zu senken und industrielle Anwendungen und Innovationen zu fördern.
Am 27. März dieses Jahres haben wir Version 1.0 der Qianfan-Plattform für große Modelle veröffentlicht. Viele Unternehmensentwickler aus verschiedenen Branchen haben sich an uns gewandt, in der Hoffnung, dass beide Parteien die Anwendung und Implementierung großer Modelle besprechen können.
Bisher haben mehr als 10.000 Unternehmen und Benutzer unsere Qianfan-Großmodellplattform ausprobiert und erkundet. Wir haben mehr als 400 Szenarien getestet und Lösungen für mehrere Branchen wie Regierungsangelegenheiten, Finanzen, Industrie, Transport usw. entwickelt. Gleichzeitig haben wir in jedem Link auch benutzerfreundlichere Produkttools bereitgestellt, die auf den jeweiligen Problemen basieren entstehen bei der tatsächlichen Schulung und Nutzung großer Modelle durch Unternehmen. und stabilere technische Leistung.
Deshalb freue ich mich sehr, Ihnen heute das neueste Upgrade der Qianfan Large Model Platform 2.0 vorstellen zu können.
Auf der MaaS-Ebene, einschließlich des großen Wenxin-Modells, haben wir auf insgesamt 42 große Modelle mit einzigartigen Eigenschaften zugegriffen, um den unterschiedlichen Anforderungen an große Modelle in allen Aspekten industrieller Anwendungsszenarien gerecht zu werden. Wir haben die Werkzeugkette für den gesamten Lebenszyklus großer Modelle verbessert und erweitert. Indem Sie dieser Plattform Schritt für Schritt folgen, können Sie schnell eine gewünschte Anwendung erstellen oder Ihr aktuelles Produkt rekonstruieren.
Neben der Verwendung großer Modelle werden führende Unternehmen in vielen Branchen unsere Plattform auch zum Trainieren großer Modelle nutzen. Auf der PaaS-Ebene kombinieren wir die Funktionen der KI-Entwicklungsplattform, um Trainingsbeschleunigung, Szenariomodellierung, Anwendungsintegration und andere Funktionen zu erreichen und Best Practices für Unternehmen bereitzustellen, die große Modelle trainieren.
Auf der IaaS-Ebene stellt Baidu Baige eine leistungsstarke und stabile KI-Infrastruktur bereit.
Im Folgenden werde ich jedem unsere Fähigkeitsverbesserungen einzeln erklären.
Derzeit bietet die Qianfan-Plattform für große Modelle 42 große Modelle mit unterschiedlichen Eigenschaften. Neben dem großen Modell von Wenxin gibt es auch ChatGLM von Zhipu Huazhang, das auf dem Markt sehr gut ist, und RWKV, das sehr große Fenster unterstützen kann. Es gibt auch hervorragende ausländische Modelle wie BLOOMZ, Llama 2 usw.
Darüber hinaus stellen wir 41 Datensätze bereit, darunter allgemeine Daten, spezielle Daten und Unterrichtsdaten, die Bildung, Finanzen, Recht usw. abdecken. Durch die Nutzung der auf der Qianfan-Großmodellplattform vorinstallierten Datensätze können Entwickler den Datenaufwand beim Training, insbesondere in der Kaltstartphase, deutlich reduzieren und schnell eigene Branchenmodelle erstellen.
Darüber hinaus haben wir viele Verbesserungen an verschiedenen Drittanbietermodellen vorgenommen, die auf den tatsächlichen Anforderungen des Unternehmens basieren, darunter die chinesische Erweiterung. Bei hervorragenden Open-Source-Modellen wie BLOOMZ und LIama 2 wird jeder nach seiner Ankunft in China feststellen, dass er etwas akklimatisiert ist und kein Chinesisch versteht. Baidu nutzt seine langjährige chinesische Datensammlung und sein chinesisches Wissen, um diese Modelle auf Chinesisch zu verbessern.
Wir können sehen, dass die Wirkung von Llama 2 nach der chinesischen Verbesserung auf der chinesischen Datenebene und verschiedenen Bewertungskriterien im Vergleich zur Originalversion um mehr als 10 % verbessert ist, unabhängig davon, ob es sich um 7B- oder 13B-Parameter handelt.
Gleichzeitig ist die Anwendung des Modells sehr ressourcenintensiv. Wir haben die Größe des Modells komprimiert und die Inferenzgeschwindigkeit des Modells erhöht. Die Qianfan Large Model Platform kann die Größe von Open-Source-Modellen im Durchschnitt um mehr als 60 % reduzieren und die Inferenzgeschwindigkeit um das bis zu Fünffache erhöhen, was ein großer Vorteil für die praktische Anwendung unserer Modelle ist.
Darüber hinaus bieten wir erweiterte Funktionen wie Befehlsverbesserung, Leistungsverbesserung, 32K-Kontexterweiterung und Sicherheitsverbesserung, um den täglichen und langfristigen Szenarioanforderungen von Unternehmen gerecht zu werden.
Wie gerade erwähnt, bietet Baidu Baige eine leistungsstarke und stabile heterogene Computerplattform für Modellplattformen und Modellanwendungen der oberen Schicht.
Die Baige-Plattform hat viele Optimierungen in drei Aspekten vorgenommen: Trainingsstabilität, Fehlerbewusstsein und Fehlertoleranz.
In Bezug auf die Trainingsstabilität machte die effektive Trainingszeit von Baiges Wanka-Aufgabe 95 % aus.
Auf der Fehlerbewusstseinsebene bauen wir Bewusstseinsfähigkeiten für häufige Fehlerszenarien wie Task-Abbruch, Task-Aussetzung und langsamen Betrieb auf. Vor allem die beiden letztgenannten Fehler sind relativ verdeckt. Die Baige-Plattform hat ein Indikatorsystem entwickelt, das auf einer Vielzahl von Best Practices innerhalb von Baidu basiert. Es kann Probleme in Sekunden erkennen, Fehler in Minuten lokalisieren und die Fehlerbehebung innerhalb von 30 Minuten abschließen.
Fehlertoleranz ist die letzte Hürde zum Aufbau von Stabilität. Die Baige-Plattform bietet automatische Fehlertoleranz, schreibt 100 GB Prüfpunkte in Sekunden und erhöht die effektive Trainingszeit um 10 %.
Darüber hinaus bietet die Qianfan-Plattform für Hochfrequenzszenarien großer Modellanwendungen Beispielräume für Anwendungsparadigmen, wodurch die Schwelle für die Implementierung von Unternehmensanwendungen gesenkt werden kann. Am Beispiel des Szenarios der Erweiterung des Domänenwissens stellen wir den gesamten Prozess vor.
Schauen Sie sich zunächst die ganz linke Seite des Bildes an. Die vom Benutzer eingegebene Abfrage wird über das API-Gateway an das große Modell übergeben. Das große Modell zerlegt die Abfrage in verschiedene Unteraufgaben. In diesem Link können wir die relevanten Absichtszerlegungsfunktionen im Voraus festlegen oder lernen, indem wir die Kette statisch oder den Agenten dynamisch anordnen. Darüber hinaus kann für die zerlegten Teilaufgaben auch eine automatische Prompt-Optimierung durchgeführt werden, um sie genauer an die nachgelagerten Aufgaben weiterzugeben.
In diesem Szenario kann die Anfrage des Benutzers in den Abruf von Domänenwissen, Suchverbesserung und eine Reihe von Toolaufrufen und Abfragen unterteilt werden. In diesem Schritt werden jeweils verschiedene Unteraufgaben ausgeführt, relevante Toolaufrufe und Abfragen abgeschlossen und die Rückgabeergebnisse der Unteraufgaben erhalten.
Der untere Teil der Abbildung zeigt das System, in dem die Wissenserweiterung in der Domäne durch Unteraufgaben aufgerufen wird. Beispielsweise vektorisieren wir vorab domänenbezogene Wissensdatenbanken und Dokumente und speichern diese in der Datenbank BES der Baidu Smart Cloud. Als Retrieval-Analyse-Engine hat BES (Baidu Elasticsearch) seine Vektorfunktionen im Zeitalter großer Modelle umfassend verbessert und stellt Wissen und Speicher für große Modelle bereit. Während die Geschäftsleistung verbessert wird, kann es auch die Sicherheit privater Unternehmensdomänendaten wirksam schützen.
Im vorherigen Schritt erhielt jede Unteraufgabe die zurückgegebenen Ergebnisse durch Vektordatenbankabfrage, Toolaufruf usw. und gab diese Strukturen dann zur Inhaltsverarbeitung und -integration in das große Modell ein. Abschließend werden die Ergebnisse nach der Integration des großen Modells von unserem Content-Security-Modul gefiltert und zurückgegeben.
Auf der rechten Seite des Bildes befinden sich die verschiedenen Infrastrukturen, auf die wir beim Aufbau des gesamten Systems zurückgreifen, wie z. B. Schlüsselverwaltung, Protokollverwaltung usw.
Der gesamte Anwendungsbeispielraum weist zwei sehr charakteristische Merkmale auf: Das erste Merkmal besteht darin, dass der Inhalt sehr umfassend ist. Der Vektorindex umfasst Sucherweiterung und SQL-Erweiterung. Wir stellen alle diese Tools bereit, die den Abruf von Domänenwissen erfordern. Der zweite Punkt besteht darin, die schnelle Erstellung von Anwendungen, das API-Gateway, den LLM-Hochgeschwindigkeits-Cache, die Schlüsselverwaltung und andere für Anwendungen auf Unternehmensebene erforderliche Funktionen zu unterstützen. Benutzer können diese Funktionen direkt über diesen Beispielraum verwenden, um schnell eigene Funktionen zu erstellen Anwendungen und Daten. Erstellen Sie Ihre eigenen Großmodellanwendungen auf Unternehmensebene.
Mehr als ein Dutzend Modellräume wie dieser wurden auf der Qianfan-Modellplattform bereitgestellt, um Unternehmen und Anwendern dabei zu helfen, schnell ihre eigenen generativen KI-Anwendungen zu erstellen.
Sehen ist besser als hundertmal hören. Nachdem ich gerade so viel gesagt habe, hoffe ich immer noch, Ihnen zu zeigen, wie Sie die Qianfan-Plattform nutzen können. Sehen wir uns ein Video an, um zu sehen, wie ein Ingenieur das Datenanalyseprodukt eines Unternehmens in 7 Stunden rekonstruierte.
Unser Team hat einen Sommerpraktikanten-Klassenkameraden. Das Video zeigt, wie er die Qianfan-Großmodellplattform nutzte, um schnell eine generative KI-Anwendung zu erstellen.
Freunde, die mit der Entwicklung und Anwendung großer Modelle bestens vertraut sind, werden auf jeden Fall erkennen, dass es sich bei dem, was er tut, tatsächlich um eine Funktion der interaktiven Erkundung von Daten handelt. In dem Video hat er zwei Dinge getan: Erstens hat er die Anweisungen für Abfragen von der Verarbeitung natürlicher Sprache bis hin zu SQL-Anweisungen verfeinert; zweitens hat er den Wissensabruf in der Domäne genutzt, um Fragen und Antworten zu Fachwissen in diesem Bereich zu stellen Feld und schließlich im DEMO Diese beiden Funktionen werden im Inneren debuggt.
Heute Morgen stellte Dr. Shen Dou im Hauptforum unsere native KI-Anwendungsfamilie vor, in der Servicemarketing, Verbesserung der Büroeffizienz und Produktionsoptimierung mit der Qianfan-Komponentenversion vorinstalliert sind. Hinter dieser Fähigkeit steht unser umfassender Full-Site-API-Plan, der es Unternehmen und Herstellern großer Modellanwendungen ermöglicht, große Qianfan-Modelle und Toolketten über die Full-Site-API flexibler in ihre eigenen Anwendungen zu integrieren und ihre eigenen nativen KI-Anwendungen zu erstellen.
Am Beispiel des BI- und Datenvisualisierungsprodukts Sugar BI unterstützt es durch Aufrufen der Schnittstelle des großen Qianfanshangwenxin-Modells, basierend auf traditioneller BI, die Exploration von Konversationsdaten, erhält schnell Datendiagramme und Datenschlussfolgerungen und kann auf Berichte und große Bildschirme angewendet werden Herstellung. Sugar BI hat innerhalb eines Monats nach seiner Einführung POC-Anfragen von Dutzenden von Kunden erhalten, was die Begeisterung des Marktes für native KI-Anwendungen zeigt.
Die KI-Rechenleistung entwickelt sich sehr schnell und Aktualisierungen sind an der Tagesordnung. Gleichzeitig gibt es auf dem Markt bereits eine sehr große Auswahl an KI-Rechenleistung.
Allerdings ist so viel KI-Rechenleistung ein Albtraum für die Entwicklung und Anwendung großer Modelle. Die Anpassung verschiedener Hardware ist eine technisch schwierige Aufgabe, die Ingenieure erfordert, die mit Hardware, Frameworks und Algorithmen vertraut sind und über umfassende Erfahrung in den Bereichen Computer, Speicher, Netzwerk und anderen Bereichen verfügen.
Die Qianfan-Plattform für große Modelle wurde an die Kombination von Mainstream-Rechenleistung und -Modellen angepasst und kann unterschiedliche Rechenleistungen verwalten und planen, wodurch die Entwicklungseffizienz und Ressourcennutzung von Unternehmen erheblich verbessert wird.
Derzeit befinden sich große Modelle in einem frühen Stadium der industriellen Umsetzung und qualitativ hochwertige Daten sind ein Schlüsselelement für die Verwirklichung der Industrialisierung großer Modelle.
Durch umfangreiches Datentraining, die Feinabstimmung von Anweisungen und verstärkendes Lernen auf der Grundlage menschlicher Rückmeldungen können große Modelle kontinuierlich an menschlichen Werten und Denkweisen ausgerichtet werden, wodurch große Modelle benutzerfreundlicher werden.
Baidu Intelligent Cloud hat unabhängig die branchenführende Annotationsplattform für große Modelldaten entwickelt, die Datendienste und -vorgänge bereitstellt und die letzte Meile der Implementierung großer Modelle bewältigen kann. Die Plattform unterstützt eine geschlossene Datenproduktion von der Datenerfassung und -bereinigung über die Annotation zur Feinabstimmung von Anweisungen und die Annotation zum verstärkenden Lernen bis hin zur Modellbewertung.
Um die Qualität der Datenannotation sicherzustellen, haben wir außerdem eine Talentstaffel für den gesamten Prozessdatendienst aufgebaut und Hunderte von Vollzeit-Annotatoren für große Modelldaten in der Datenannotationsdatenbank Baidu Smart Cloud Haikou geschult, mit einer Bachelor-Quote von 100 %.
Datensicherheit hat immer oberste Priorität. Baidu Smart Cloud kann hochsichere End-to-End-Datendienste bereitstellen. Die Annotationsplattform unterstützt die private Bereitstellung und bietet Kunden durch die Verknüpfung mit Basisressourcen vielfältige Datensicherheitslösungen.
Derzeit haben wir mit vielen Unternehmen geübt und mehr als 400 Szenarien gesammelt. In den Bereichen Pan-Technologie, Finanzen, Energie, Regierungsangelegenheiten usw. werden wir in Zukunft eine intensive Zusammenarbeit mit mehr Branchen durchführen, sodass große Modelle Tausende von Branchen stärken können.
Im heutigen Inhalt stellen wir das neueste Upgrade der großen Modellplattform Baidu Intelligent Cloud Qianfan vor, einschließlich: Modelle und Datensätze, Toolketten und Anwendungsparadigmen, KI-Infrastruktur Baidu Baige, Full-Site-API, Multi-Core-Anpassung und andere Funktionen oder Merkmale . Außerdem wurde ein Schlüsselelement für die industrielle Anwendung großer Modelle eingeführt – eine Plattform zur Annotation großer Modelldaten.
Wir hoffen, dass diese Produkte in Zukunft Unternehmenspartnern dabei helfen können, die Entwicklungs- und Anwendungskosten großer Modelle weiter zu senken, gemeinsam die industrielle Umsetzung großer Modelle zu fördern, industrielle Innovationen gemeinsam zu fördern und die Intelligenz der Branche zu beschleunigen.
Tausende Segel wetteifern darum, gemeinsam Brillanz zu schaffen!
- - - - - - - - - - ENDE - - - - - - - - - -
Literatur-Empfehlungen
Einführung in die praktische Anwendung der Code-Verstehenstechnologie
Der Weg zur Optimierung der Compilerleistung kleiner Programme
Optimierungspraxis der Baidu APP iOS-Paketgröße 50 MB (6) Nutzlose Reinigungsmethode
Echtzeit-Abfang- und Problemverteilungsstrategie basierend auf anormalen Online-Szenarien
Der Autor des Open-Source-Frameworks NanUI wechselte zum Verkauf von Stahl und das Projekt wurde eingestellt. Die kostenlose Liste Nummer eins im Apple App Store ist die pornografische Software TypeScript. Sie ist gerade populär geworden, warum fangen die Großen an, sie aufzugeben? ? TIOBE-Oktoberliste: Java verzeichnet den größten Rückgang, C# nähert sich Java Rust 1.73.0 veröffentlicht Ein Mann wurde von seiner KI-Freundin dazu ermutigt, die Königin von England zu ermorden und wurde zu neun Jahren Gefängnis verurteilt Qt 6.6 offiziell veröffentlicht Reuters: RISC-V Technologie wird zum Schlüssel zum chinesisch-amerikanischen Technologiekrieg. Neues Schlachtfeld RISC-V: Lenovo wird nicht von einem einzelnen Unternehmen oder Land kontrolliert und plant die Einführung eines Android-PCs