Artikelverzeichnis
Vorwort
Die große Modellplattform Baidu Intelligent Cloud Qianfan wurde erneut aktualisiert! Basierend auf der Original-API hat Baidu Smart Cloud offiziell die Version des Python SDK (im Folgenden als Qianfan SDK bezeichnet) veröffentlicht und ist vollständig Open Source. Unternehmen und Entwickler können es kostenlos herunterladen und verwenden! Das Qianfan SDK deckt Funktionen von der Datensatzverwaltung, dem Modelltraining, der Modellbewertung bis hin zur Servicebereitstellung usw. umfassend ab. Basierend auf dem Qianfan SDK können unsere Entwickler über Code auf die Funktionen der Baidu Intelligent Cloud Qianfan-Großmodellplattform zugreifen und diese aufrufen sowie LLMOps einfach implementieren Vollständig Mit der Implementierung des Prozesses können wir schnell unsere eigene große Sprachmodellanwendung erstellen.
1. Vorteile von SDK
Der aktuelle Hauptwert des SDK besteht darin, dass es API-Funktionen schnell nutzen, die periphere Toolkette für die API-Nutzung verbessern und Kochbücher für die Praxis bereitstellen kann.
1. Nutzen Sie schnell die API-Fähigkeit, die von Entwicklern wie uns nicht verlangt, den http-Client und die Authentifizierungslogik zu implementieren. Auf dieser Grundlage werden konfigurierbare Wiederholungsversuche und Flusskontrolle implementiert, um die API-Funktionalität zu verbessern Erfahrung.
2. Basierend auf tatsächlichen Fällen und Anwendungsszenarien wird ein responsives Kochbuch bereitgestellt, das Entwicklern einen schnellen Einstieg und sogar die Wiederverwendung des größten Teils des implementierten Codes ermöglicht.
3. Die Grundfunktionen von LLM-Anwendungen wurden erweitert. Sie werden beispielsweise durch die Kombination gemeinsamer Agenten- und anderer Konzepte in der LLM-Anwendungsschicht gekapselt und stellen agentenbasierte Anwendungsvorlagenklassen bereit.
2. Qianfan SDK: LLM-Anwendungen schnell implementieren
Das Qianfan SDK unterstützt eine Reihe von Funktionen wie Dialogvervollständigung, Fortsetzungsvervollständigung, semantische Vektoren, Plug-Ins, Vincent-Diagramme usw. und hilft uns, die Anwendungsentwicklung einfach und reibungslos abzuschließen.
- Konversationsabschluss (ChatCompletion): Das Konversationsmodell ist eine Variante des Sprachmodells. Obwohl Sprachmodelle intern verwendet werden, unterscheiden sich die von ihnen bereitgestellten Schnittstellen etwas. Geeignet für Dialoggenerierung, intelligente Fragen und Antworten und andere Szenarien.
- Vervollständigung: Das Sprachmodell bietet grundlegende Fortsetzungsfunktionen in Kombination mit einem umfangreichen Trainingskorpus und eignet sich sehr gut für das Schreiben von Dokumentberichten, die Erstellung von Inhalten und andere Szenarien.
- Semantischer Vektor (Einbettung): Die Qianfan-Plattform für große Modelle von Baidu Intelligent Cloud bietet nicht nur die Möglichkeit, Dialoge in großen Modellen fortzusetzen, sondern führt auch die Möglichkeit ein, Text in Vektoren umzuwandeln, um allgemeine Textabfragen, Wissensdatenbankabfragen und andere Szenarien durchzuführen.
- Plug-in-Anwendung (Plugin): Um die Lücke in der Fähigkeit großer Modelle zu schließen, Echtzeitinformationen, multimodale, vertikale Domänenwissensfragen und -antworten sowie andere Szenarien zu erhalten, wurde die Baidu Intelligent Cloud Qianfan-Plattform für große Modelle gestartet Mehrere häufig verwendete Plug-in-Anwendungen, darunter Baidu-Suche, Wissensbibliothek, Wetterabfrage, Smart Map und mehrere andere Plug-in-Anwendungen. Entwickler können die Entscheidungsfähigkeiten des großen Modells nutzen, um Frage- und Antworttexte in Plug-In-Anwendungsaufrufe umzuwandeln, oder sie können Plug-In-Anwendungen direkt aufrufen, um entsprechende Daten zu erhalten.
- Text2Image: Basierend auf multimodalen Open-Source-Großmodellen wie Open-Source-StableDiffusion hat die Baidu Intelligent Cloud Qianfan-Großmodellplattform eine Reihe voreingestellter Text2Image-Modelle auf den Markt gebracht. Wir können sie auch schnell über das SDK aufrufen, um Grafiken und Text zu erstellen.
3. So können Sie schnell mit dem Qianfan SDK beginnen
Die Baidu Smart Cloud Qianfan Large Model Platform bietet uns Entwicklern eine detaillierte Bedienungsanleitung, einschließlich SDK-Schnellstart, Schnellstart mit Grundfunktionen der Entwicklung großer Modelle und Langchain-Zugriffsmethode. Mit den folgenden Schritten können wir Qianfan SDK schneller verwenden.
3.1. SDK-Schnellstart
In diesem Modul stellen wir vor, wie Sie schnell in die LLM-Anwendungsentwicklung einsteigen können, indem wir die notwendigen Schritte für einen schnellen Einstieg durchführen und den Chat-Dialog als Aufrufbeispiel verwenden.
-
Schnellinstallation
Derzeit wurde das Qianfan SDK für PyPI veröffentlicht und wir können es mit dem Befehl pip installieren. Für die Installation des Qianfan SDK ist Python Version 3.7.0 oder höher erforderlich.
-
Plattformauthentifizierung
Das Qianfan SDK bietet Benutzern Funktionen, die auf der Baidu Smart Cloud Qianfan-Großmodellplattform basieren. Daher müssen Entwickler vor der Verwendung eine Initialisierung mit der plattformspezifischen Authentifizierungsmethode durchführen. -
So erhalten Sie AK/SK
Wir können zunächst auf die Anwendung zugreifen und AK/SK erhalten.
Nachdem wir AK und SK erhalten haben, müssen wir sie noch übergeben, um das Qianfan SDK zu initialisieren. Die folgenden zwei Methoden werden unterstützt, sortiert nach Priorität von niedrig nach hoch:
-
Nehmen Sie „Chat-Dialog“ als Aufrufbeispiel
Wir müssen nur den erwarteten Modellnamen und den Gesprächsinhalt angeben, um die Baidu Intelligent Cloud Qianfan-Großmodellplattform aufzurufen, die unterstützt wird, einschließlich ERNIE-Alle Die voreingestellten Modelle, einschließlich Bot, sind wie folgt:
3.2. Erweitertes SDK-Handbuch
Für Entwickler, die einen Feinabstimmungsbedarf für die Schulung von Modellen haben, bietet das Qianfan SDK Funktionen für die Modellschulung und -verwaltung.
- Training großer Modelle: Die Plattform für große Modelle von Baidu Intelligent Cloud Qianfan bietet leistungsstarke Trainings- und Modellfeinabstimmungsfunktionen und kann Trainingsaufgaben schnell ausgeben und verwalten.
- Verwaltung großer Modelle: Wird hauptsächlich für die Verwaltung und Freigabe benutzerdefinierter Modelle verwendet.
- Großer Modelldienst: Die Qianfan-Plattform bietet eine grundlegende Betriebsumgebung für große Modelle, und unsere Entwickler können ihre eigenen Modelldienste mit einem Klick veröffentlichen.
3.3. Greifen Sie über Langchain auf das Qianfan SDK zu
Warum Langchain wählen?
Langchain ist ein Framework, das uns Entwicklern helfen kann, LLM-Anwendungen schnell vom Prototyp bis zur Produktion zu erstellen. Es kapselt eine Reihe abstrakter LLM-Anwendungskomponenten, darunter LLM, Einbettung, Kette, Agent, Tool usw. Mit den kontinuierlichen Beiträgen seiner Open-Source-Community-Mitglieder integriert es die meisten aktuellen gängigen großen Sprachmodelle und andere Aufrufmethoden Derzeit sehr beliebt. Open-Source-Framework für große Modelle. Es verfügt über eine hohe Entwicklungseffizienz, vollständige Ressourcenunterstützung und eine große Anzahl von Benutzern. Jetzt können wir das Qianfan SDK verwenden, um auf Schulungen und andere Funktionen der Baidu Intelligent Cloud Qianfan-Großmodellplattform in Langchain zuzugreifen und diese zu nutzen, wodurch die Entwicklung von Anwendungsszenarien einfacher und bequemer wird.
4. Open-Source-Community
Qianfan SDK wurde als Open Source für Github bereitgestellt und wird weiterhin aktualisiert und iteriert. Sie können dem Abonnement folgen, um mit der Erstellung unserer eigenen großen Modellanwendungen zu beginnen.
Github Repo:
https://github.com/baidubce/bce-qianfan-sdk
Qianfan-Community: a>
https://cloud.baidu.com/qianfandev