Generative KI-Plattform der Enterprise-Klasse basierend auf Amazon Bedrock

Generative KI-Plattform der Enterprise-Klasse basierend auf Amazon Bedrock

• 2023.12.2
• Copyright-Erklärung: Dieser Artikel ist ein Originalartikel des Bloggers chszs und darf nicht ohne Genehmigung des Bloggers reproduziert werden.

Amazon Bedrock ist ein neuer AWS-Service, der es Unternehmen einfach macht, generative KI-Modelle über APIs zu nutzen und anzupassen. Unternehmen können jetzt KI-Anwendungen erstellen und skalieren, ohne die komplexe Infrastruktur und Wartung verwalten zu müssen, die für die Ausführung der Modelle selbst erforderlich sind. Amazon Bedrock dient als „Foundation Models as a Service“-Plattform, auf der Kunden Open-Source- und proprietäre Modelle erkunden können, um das Modell zu finden, das ihren Anforderungen am besten entspricht. Ein wesentlicher Vorteil ist die serverlose Erfahrung, die den Prozess der Anpassung des zugrunde liegenden Modells mithilfe der unternehmenseigenen Daten vereinfacht. Benutzerdefinierte Modelle können dann nahtlos mit anderen AWS-Tools in die Infrastruktur Ihres Unternehmens integriert und bereitgestellt werden. Insgesamt besteht das Ziel von Bedrock darin, die Nutzung generativer KI zu vereinfachen, indemdie Hindernisseder Modellverwaltung und der Komplexität der Infrastruktur beseitigt werden.

AWS Bedrock hilft Unternehmen bei der einfacheren Einführung generativer KI, indemeinfacher Zugriff auf hochwertige zugrunde liegende Text- und Bildmodelle bereitgestellt wird. Es bietet Open-Source- und proprietäre Modelle von mehreren Anbietern, darunter Amazons eigenes Titan-Modell. Dadurch entfällt für Unternehmen die Notwendigkeit, ihre eigenen Lieferantenbewertungen durchzuführen, da Amazon alles auf seiner Infrastruktur betreibt. Durch die Abwicklung von Sicherheit, Compliance und Modelldiensten beseitigt Bedrock wichtige Hindernisse für Unternehmen, die generative KI einführen. Sie müssen keine eigene Modellinfrastruktur und -funktionalität mehr aufbauen und warten. Stattdessen können sie mit Bedrock leistungsstarke generative Modelle über eine einfache API nutzen, ohne sich Gedanken über mögliche Komplexität machen zu müssen.

AWS Bedrock senkt die Hürden für die Einführung von Open Source und kommerzieller generativer KI in Unternehmen durch:

1. Optimieren Sie vorhandene Open-Source- oder Closed-Base-Modelle ganz einfach mit nur wenigen getaggten Beispielen in Amazon S3, ohne dass umfangreiche Datenanmerkungen oder der Aufbau von Datenpipelines erforderlich sind. Dies vereinfacht die Anpassung und beschleunigt die Entwicklung neuer KI-basierter Anwendungen.
2. Bereitstellung serverloser, skalierbarer, zuverlässiger und sicherer Hosting-Dienste, die es Kunden ermöglichen, die volle Kontrolle und Verwaltung ihrer Daten für individuelle Anpassungen zu behalten. Ein integriertes Modellzugriffssystem ermöglicht Administratoren die Kontrolle der Modellnutzung und unterstützt so eine starke KI-Governance.
3. Integrieren Sie AWS SageMaker, Lambda, EKS, ECS und andere AWS-Dienste (z. B. EC2) über die API, sodass Entwickler problemlos KI-Anwendungen erstellen, skalieren und bereitstellen können, ohne die Infrastruktur oder erweiterte LLM-Bereitstellungsprozesse verwalten zu müssen.

Zusammenfassend lässt sich sagen, dass Bedrock die Einführung generativer KI beschleunigt, indem es die Anpassung vereinfacht, sich nahtlos in AWS integriert und Unternehmen vollständige Kontrolle, Governance und Sicherheit über ihre Daten und Modelle bietet. Dies reduziert das Risiko und die Zeit bis zur Wertschöpfung bei der Nutzung generativer KI-Funktionen.

Komplettlösung für den Amazon Bedrock-Service

Nachdem wir uns bei der AWS-Konsole angemeldet haben, müssen wir Amazon Bedrock aufrufen, um den Dienst zu laden.

Zum jetzigen Zeitpunkt ist Bedrock nur in einer Handvoll Regionen verfügbar und es werden ständig neue Regionen zur Liste hinzugefügt. Hier wähle ich USA Ost (Nord-Virginia) aus.

Nach Auswahl einer unterstützten Region wird die Konsole von Amazon Bedrock geöffnet.

Dies ist das Dashboard für Amazon Bedrock, mit dem Sie Modelle verwenden oder den Zugriff anderer Benutzer auf Modelle steuern können. Da ich mit dem Root-Benutzerkonto angemeldet bin, zeigt mir das Dashboard alle Funktionen und Steuerelemente an, die mir als Administrator-Root-Benutzer zur Verfügung stehen. Das rechte Panel zeigt viele bekannte LLM- oder FM-Anbieter, wie AI21 Amazon oder Anthropic. Das rechte Feld zeigt verschiedene Spielplätze, auf denen man mit dem Modell und seinem Verhalten experimentieren kann, indem man Eingabeaufforderungen einfügt.

Einer der wichtigen Links ist „Modellzugriff“, der die Möglichkeit bietet, den Modellzugriff zu steuern. Sie können auf den Link klicken, um auf die Modellzugriffsbibliothek zuzugreifen.

Das Model Access Dashboard zeigt alle aktuell vom Anbieter Amazon Bedrock konfigurierten Modelle an. Bei einigen dieser Modelle, wie etwa dem Claude-Modell von Anthropic, müssen Sie ein langes Formular ausfüllen, wenn Sie darauf zugreifen möchten. Der Rest ist ganz einfach. Sie müssen auf die Schaltfläche klicken, um den Modellzugriff zu verwalten. Daraufhin wird eine bearbeitbare Liste zur Steuerung des Zugriffs angezeigt.



Nach dem Absenden der Schaltfläche „Änderungen speichern“ ändert sich der Zugriffsstatus in „In Bearbeitung“. Manchmal müssen Sie mehr als eine Stunde oder einen Tag warten, abhängig von der Art des Modells, auf das Sie Zugriff anfordern, und von Ihrem Kontotyp.

Sobald AWS Zugriff auf das von Ihnen angeforderte Modell gewährt, ändert sich der Status in „Zugriff gewährt“. Jetzt können Sie die API verwenden, um das Modell in Ihre eigenen Anwendungen zu integrieren.

Wir können den Spielplatz zur Textgenerierung aufrufen, indem wir zum ursprünglichen Dashboard zurückkehren und hier auf den Link „Text“ klicken Mithilfe von Prompt Engineering können wir das Modell bewerten, indem wir den Anbieter und das entsprechende Modell aus der Dropdown-Liste auswählen. Sie können die Reaktion des Modells auch anpassen, indem Sie die im rechten Bereich angezeigte Konfiguration ändern. Das Element „temperatur“ bestimmt die Ausgabe des Modells. Je höher der Temperaturwert, desto kreativer bzw. dynamischer reagiert das Modell. Wenn der Wert Null ist, können Sie davon ausgehen, dass das Modell auf eine bestimmte Eingabeaufforderung, Frage oder NLP-Aufgabe dieselbe statische Antwort erzeugt.

Jetzt werden wir auf dem Spielplatz erkunden, wie wir dasselbe Texteingabeprojekt verwenden, um mit verschiedenen Modellen zu spielen. Zunächst untersuchen wir die Ausgabe des Jurassic-Modells des Anbieters AI21 Labs. Wir haben Text zu MQTT eingegeben, einem Kommunikationsmodus, der in IoT-Geräten verwendet wird, und das Modell gebeten, einem 12-jährigen Menschen MQTT zu erklären. Die grüne Textausgabe ist der vom Modell Jurrasic -2 Ultra mit einer Temperatur von 0,7 generierte Text

Wenn Sie auf „API-Anfrage anzeigen“ klicken (API-Anfrage anzeigen) unten eine Schaltfläche „>“, die die von der Playground-Konsole an das Basismodell gesendete API-Anfrage anzeigt.

Antwort des Cohere-Befehlsmodells:

Context: MQTT, or Message Queuing Telemetry Transport, is a messaging protocol for the Internet of Things (IoT). It's a set of rules that defines how IoT devices can publish and subscribe to data over the internet. MQTT is used for machine-to-machine communication. It's lightweight and can be used in cases where clients need a small code footprint and are connected to unreliable networks or networks with limited bandwidth resources. 
Explain MQTT to a 12-year-old person.

MQTT is like a secret club for machines where they can all talk to each other and share cool stuff. You know how people use social media to post pictures and updates, and others can follow or see those posts if they're interested? MQTT is like that, but for machines.
Imagine you have a cool new gadget, like a smart watch or a smart home device. These gadgets can do amazing things, like track your steps, control your lights, or even order you a pizza! But for them to do those things, they need to talk to other machines. That's where MQTT comes in.
MQTT is like a special set of rules that these machines use to talk to each other over the internet. They can send messages to each other, kind of like sending emails or texts, but these messages are super fast and efficient. And just like you might subscribe to a celebrity's social media account to see all their posts, these machines can subscribe to messages that are important to them.
The best part is that MQTT is really lightweight, which means it doesn't use a lot of computer power or take up a lot of space. This is important because sometimes these machines don't have a lot of power or they're in places where the internet connection isn't very good. MQTT is designed to work even in these tough conditions.
So, think of MQTT as a secret club where machines can talk, share messages, and work together to make our lives easier and more fun. It's like a behind-the-scenes hero that helps all our cool gadgets work together!

Ich versuche, das LLama2-Modell von Meta zu verwenden, erhalte jedoch ständig Fehlermeldungen. Es scheint, dass Amazon immer noch versucht, die Situation zu stabilisieren.

Wir werden das Sytable Diffusion-Modell untersuchen, das textbasierte Eingabeaufforderungen zum Generieren von Bildern verwendet.

Die API-Anfrage lautet:

aws bedrock-runtime invoke-model \
--model-id stability.stable-diffusion-xl-v0 \
--body "{
    
    \"text_prompts\":[{
    
    \"text\":\"highly detailed Albert Einstein with bubble tea in hands epic laboratory office, shelves with detailed items in background\"}],\"cfg_scale\":10,\"seed\":0,\"steps\":50}" \
--cli-binary-format raw-in-base64-out \
--region us-east-1 \
invoke-model-output.txt

Da Amazon Bedrock als serverlose Komponente ausgeführt wird, ist die Integration mit der Plattform tatsächlich serverlos. Auf das zugrunde liegende Modell kann über eine REST-API für die nachgelagerte Nutzung zugegriffen werden, und AWS stellt einen Bedrock SDK-Client bereit, den jede Anwendung nutzen kann, um eine Verbindung zu Amazon Bedrock herzustellen.