Die Klassifizierung, Extraktion und Analyse von Daten kann für Unternehmen, die mit großen Dokumentenmengen arbeiten, eine Herausforderung darstellen. Herkömmliche Dokumentenverarbeitungslösungen sind manuell, teuer, fehleranfällig und schwer zu skalieren. Durch die Nutzung von KI-Diensten wie Amazon Textract ermöglicht Ihnen Amazon Cloud Intelligent Document Processing (IDP), die branchenführende Technologie des maschinellen Lernens (ML) zu nutzen, um Daten aus jedem gescannten Dokument oder Bild schnell und genau zu verarbeiten. Generative künstliche Intelligenz (Generative AI) ergänzt Amazon Textract, um Arbeitsabläufe bei der Dokumentenverarbeitung weiter zu automatisieren. Funktionen wie die Standardisierung von Schlüsselfeldern und die Zusammenfassung von Eingabedaten unterstützen eine schnellere Verwaltung von Dokumentenprozessabläufen und reduzieren gleichzeitig das Fehlerpotenzial.
| Die Amazon Cloud Technology Developer Community stellt Entwicklern globale Entwicklungstechnologieressourcen zur Verfügung. Es gibt technische Dokumente, Entwicklungsfälle, technische Kolumnen, Schulungsvideos, Aktivitäten und Wettbewerbe usw. Helfen Sie chinesischen Entwicklern, sich mit den modernsten Technologien, Ideen und Projekten der Welt zu vernetzen, und empfehlen Sie der globalen Cloud-Community herausragende chinesische Entwickler oder Technologien. Wenn Sie es noch nicht verfolgt/gesammelt haben, überstürzen Sie es bitte nicht, wenn Sie es sehen. Klicken Sie hier, um es zu Ihrer technischen Fundgrube zu machen! |
Generative KI wird durch große ML-Modelle angetrieben, die als Foundation Models (FMs) bezeichnet werden. FMs verändern die Art und Weise, wie Sie traditionell komplexe Arbeitslasten bei der Dokumentenverarbeitung lösen können. Zusätzlich zu den vorhandenen Funktionen müssen Unternehmen bestimmte Informationskategorien aus Dokumenten wie Finanzberichten und Kontoauszügen aggregieren. FMs erleichtern die Generierung solcher Erkenntnisse aus extrahierten Daten. Um den Zeitaufwand für manuelle Überprüfungen zu optimieren und die Mitarbeiterproduktivität zu steigern, können Fehler wie fehlende Ziffern in einer Telefonnummer, fehlende Dokumente oder eine fehlende Hausnummer in einer Adresse automatisiert gekennzeichnet werden. Im aktuellen Szenario müssen Sie Ressourcen investieren, um diese Aufgaben durch manuelle Überprüfung und komplexe Skripte abzuschließen. Diese Methode ist langwierig und teuer. FMs können dazu beitragen, diese Aufgaben schneller und mit weniger Ressourcen zu erledigen und verschiedene Eingabeformate in Standardvorlagen umzuwandeln, die weiterverarbeitet werden können. Bei Amazon Cloud Technologies bieten wir Dienste wie Amazon Bedrock an , die einfachste Möglichkeit, generative KI-Anwendungen mithilfe von FMs zu erstellen und zu skalieren. Amazon Bedrock ist ein vollständig verwalteter Dienst, der Daten von führenden KI-Startups und Amazon FMs über eine API bereitstellt, sodass Sie das Modell finden können, das Ihren Anforderungen am besten entspricht. Wir bieten auch Amazon SageMaker JumpStart an , mit dem ML-Praktiker aus einer breiten Palette von Open-Source-FMs wählen können. ML-Praktiker können FMs in dedizierten Amazon SageMaker- Instanzen aus einer netzwerkisolierten Umgebung bereitstellen und benutzerdefinierte SageMaker-Modelle für die Modellschulung und -bereitstellung verwenden.
Ricoh bietet Arbeitsplatzlösungen und digitale Transformationsdienste, die Kunden bei der Verwaltung und Optimierung des Geschäftsinformationsflusses unterstützen sollen. „Wir erweitern unsere IDP-Lösungen um generative KI, um Kunden dabei zu helfen, ihre Arbeit mit neuen Funktionen wie Fragen und Antworten, Aggregation und standardisierter Ausgabe schneller und genauer zu erledigen“, sagte Ashok Shenoy, Vizepräsident für Portfolio-Lösungsentwicklung. Amazon Cloud Technologies ermöglicht uns um generative KI zu nutzen und gleichzeitig die Daten jedes Kunden getrennt und sicher zu halten.“
In diesem Artikel erfahren Sie, wie Sie generative KI nutzen können, um IDP-Lösungen auf der Amazon Cloud-Technologie zu verbessern.
Verbessern Sie den IDP-Prozess
In diesem Abschnitt untersuchen wir, wie herkömmliche IDP-Prozesse mit FMs verbessert werden können, und gehen beispielhafte Anwendungsfälle von Amazon Textract mit FMs durch.
Amazon IDP besteht aus drei Phasen: Klassifizierung, Extraktion und Anreicherung. Weitere Einzelheiten zu den einzelnen Phasen finden Sie unter Intelligente Dokumentenverarbeitung mit Amazon Web Services AI Services: Teil 1 und Teil 2 . In der Klassifizierungsphase können FMs nun Dokumente ohne zusätzliche Schulung klassifizieren. Dies bedeutet, dass Dokumente auch dann klassifiziert werden können, wenn das Modell zuvor noch keine ähnlichen Beispiele gesehen hat. FMs in der Extraktionsphase können Datumsfelder standardisieren, Adressen und Telefonnummern validieren und gleichzeitig eine konsistente Formatierung sicherstellen. FMs mit Anreicherungsphasen ermöglichen Argumentation, logisches Denken und Zusammenfassung. Wenn Sie FMs in jeder IDP-Phase verwenden, wird Ihr Arbeitsablauf reibungsloser und die Leistung verbessert. Das folgende Diagramm veranschaulicht den IDP-Prozess mit generativer KI.
Extraktionsphase des IDP-Prozesses
Wenn FMs Dokumente in nativen Formaten (z. B. PDF, IMG, JPEG und TIFF) nicht direkt als Eingabe verarbeiten können, ist ein Mechanismus erforderlich, um das Dokument in Text umzuwandeln. Um Text aus einem Dokument zu extrahieren und ihn dann zur weiteren Verarbeitung an FMs zu senden, können Sie Amazon Textract verwenden. Mit Amazon Textract können Sie Zeilen und Wörter extrahieren und an nachgelagerte FMs übergeben. Die folgende Architektur verwendet Amazon Textract, um Text aus jeder Art von Dokument präzise zu extrahieren und ihn dann zur weiteren Verarbeitung an FMs zu senden.
Normalerweise enthalten Dokumente strukturierte und halbstrukturierte Informationen. Amazon Textract kann zum Extrahieren von Rohtext und Daten aus Tabellen und Formularen verwendet werden. Tabellen und Datenbeziehungen in Formularen spielen eine entscheidende Rolle bei der Automatisierung von Geschäftsprozessen. Bestimmte Arten von Informationen werden möglicherweise nicht direkt von FMs verarbeitet. Daher haben wir die Wahl, diese Informationen im Downstream-Speicher zu speichern oder an FMs zu senden. Die folgende Abbildung zeigt beispielhaft, wie Amazon Textract strukturierte und halbstrukturierte Informationen aus Dokumenten extrahiert, zusammen mit Textzeilen, die von FMs verarbeitet werden müssen.
Zusammenfassung der Nutzung serverloser Amazon Cloud Technology-Dienste zur Nutzung von FMs
Der zuvor demonstrierte IDP-Prozess kann mithilfe der serverlosen Dienste von Amazon Web Services nahtlos automatisiert werden. In großen Unternehmen gibt es sehr unstrukturierte Dokumente. Diese Dokumente können branchenübergreifend sein und von Einreichungen bei der Securities and Exchange Commission (SEC) im Bankensektor bis hin zu Assurance-Einreichungen in der Krankenversicherungsbranche reichen. Mit dem Wachstum der generativen KI auf der Amazon Cloud-Technologie suchen Menschen in diesen Branchen nach Möglichkeiten, Zusammenfassungen aus diesen Dokumenten auf automatisierte und kostengünstige Weise abzuleiten. Serverlose Dienste bieten einen Mechanismus zum schnellen Erstellen von IDP-Lösungen. Dienste wie Amazon Lambda , Amazon Step Functions und Amazon EventBridge können dabei helfen, in FMs integrierte Dokumentverarbeitungsprozesse aufzubauen, wie in der folgenden Abbildung dargestellt.
Die in der obigen Architektur verwendete Beispielanwendung ist ereignisgesteuert . Ein Ereignis ist als eine kürzliche Zustandsänderung definiert. Beispielsweise gibt Amazon S3 ein Objekterstellungsereignis aus, wenn ein Objekt in einen Amazon Simple Storage Service (Amazon S3)-Bucket hochgeladen wird. Diese Ereignisbenachrichtigung von Amazon S3 kann eine Lambda-Funktion oder einen Step-Functions-Workflow auslösen. Diese Art von Architektur wird als ereignisgesteuerte Architektur bezeichnet . In diesem Artikel verwendet unsere Beispielanwendung eine ereignisgesteuerte Architektur, um eine beispielhafte Entlassungszusammenfassung eines Patienten zu verarbeiten und Dokumentdetails zusammenzufassen. Der Arbeitsablauf ist wie folgt:
-
Wenn ein Dokument in einen S3-Bucket hochgeladen wird, löst Amazon S3 ein Objekterstellungsereignis aus.
-
EventBridge Der Standard-Ereignisbus gibt Ereignisse basierend auf EventBridge-Regeln an Schrittfunktionen weiter.
-
Der State-Machine-Workflow beginnt mit der Verarbeitung von Dokumenten, beginnend mit Amazon Textract.
-
Die Lambda-Funktion transformiert die analysierten Daten zur Verwendung im nächsten Schritt.
-
Die Zustandsmaschine ruft über die direkte Amazon SDK-Integration den SageMaker-Endpunkt auf, der FM hostet .
-
Der Digest-S3-Ziel-Bucket empfängt die von FM gesammelte Digest-Antwort.
Wir verwenden die Beispielanwendung und das flan-t5 Hugging Face-Modell , um die folgende Beispielzusammenfassung der Patientenentlassung mithilfe des Step Functions-Workflows zusammenzufassen.
Der Step Functions-Workflow nutzt die Amazon SDK-Integration, um Amazon Textract AnalyzeDocument und die SageMaker-Laufzeit -API InvokeEndpoint aufzurufen , wie in der Abbildung unten dargestellt.
Dieser Workflow generiert ein zusammenfassendes JSON-Objekt, das im Ziel-Bucket gespeichert wird. Das JSON-Objekt sieht folgendermaßen aus:
{
"summary": [
"John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help."
],
"forms": [
{
"key": "Ph: ",
"value": "(888)-(999)-(0000) "
},
{
"key": "Fax: ",
"value": "(888)-(999)-(1111) "
},
{
"key": "Patient Name: ",
"value": "John Doe "
},
{
"key": "Patient ID: ",
"value": "NARH-36640 "
},
{
"key": "Gender: ",
"value": "Male "
},
{
"key": "Attending Physician: ",
"value": "Mateo Jackson, PhD "
},
{
"key": "Admit Date: ",
"value": "07-Sep-2020 "
},
{
"key": "Discharge Date: ",
"value": "08-Sep-2020 "
},
{
"key": "Discharge Disposition: ",
"value": "Home with Support Services "
},
{
"key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ",
"value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. "
},
{
"key": "Summary: ",
"value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet "
}
]
}Durch die skalierte Generierung dieser Zusammenfassungen mithilfe von IDP und einer serverlosen Implementierung können Unternehmen auf effiziente Weise aussagekräftige, prägnante und darstellbare Daten erhalten. Step Functions ist nicht auf die Verarbeitung einzelner Dokumente beschränkt. Die verteilte Zuordnungsfunktion kann eine große Anzahl von Dokumenten nach einem Zeitplan zusammenfassen.
Die Beispielanwendung verwendet das Modell flan-t5 Hugging face ; Sie können jedoch Ihren eigenen FM-Endpunkt auswählen. Das Trainieren und Ausführen des Modells würde den Rahmen der Beispielanwendung sprengen. Bitte befolgen Sie die Anweisungen im GitHub-Repository, um die Beispielanwendung bereitzustellen. Die obige Architektur bietet Anleitungen zur Verwendung von Schrittfunktionen zur Orchestrierung von IDP-Workflows. Ausführliche Anweisungen zum Erstellen von Anwendungen mit Amazon Cloud AI-Diensten und FMs finden Sie im IDP Generative AI Workshop .
Lösung einrichten
Befolgen Sie die Schritte in der README-Datei , um die Lösungsarchitektur einzurichten (außer SageMaker-Endpunkt). Nachdem Sie Ihren eigenen SageMaker-Endpunkt haben, können Sie den Endpunktnamen als Parameter an die Vorlage übergeben.
Aufräumen
Um Geld zu sparen, löschen Sie die im Tutorial bereitgestellten Ressourcen:
-
Befolgen Sie die Schritte im Abschnitt „Bereinigung“ der README-Datei .
-
Löschen Sie alle Inhalte im S3-Bucket aus der Amazon S3-Konsole und löschen Sie dann den Bucket.
-
Löschen Sie alle SageMaker-Endpunkte, die Sie möglicherweise über die SageMaker-Konsole erstellt haben.
abschließend
Generative KI verändert die Art und Weise, wie Sie IDP nutzen können, um Einblicke in Dokumente zu gewinnen. Amazon Cloud AI-Dienste wie Amazon Textract und Amazon FMs können dabei helfen, jede Art von Dokument präzise zu verarbeiten. Weitere Informationen zur Verwendung generativer KI in Amazon Cloud finden Sie unter „Neue Tools zum Erstellen generativer KI in Amazon Cloud veröffentlicht“ .
Artikelquelle: https://dev.amazoncloud.cn/column/article/64e5fcaa5cf856038494f188?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN