Einführung in Streamis

Streamis ist ein Streaming-Anwendungsentwicklungsmanagementsystem, das gemeinsam von WeBank, Tianyi Cloud, Xianweng Technology und Samoyed Cloud entwickelt wurde. Basierend auf den Framework-Funktionen von DataSphere Studio und der zugrunde liegenden Verbindung zur Flink-Engine von Linkis können Benutzer die Entwicklung, das Debugging, die Veröffentlichung und das Produktionsmanagement von Streaming-Anwendungen zu geringen Kosten abschließen.

In Zukunft ist auch geplant, eine grafische Drag-and-Drop-Entwicklungserfahrung im Workflow-Stil zu verwenden, um Streaming-Anwendungen in einen Streaming-Workflow mit Quellknoten, Dimensionsknoten, Transformationsknoten, Senkenknoten und Visualis-Knoten zu verbinden, sodass Benutzer dies tun können Lernkosten für die Fertigstellung der Entwicklung, des Debuggens und der Veröffentlichung von Streaming-Anwendungen.

Github: https://github.com/WeBankFinTech/Streamis

Streamis 0.3.0 Neue Versionshinweise

Streamis 0.3.0 verfügt über einige wichtige Architekturaktualisierungen und -optimierungen, vor allem die Unterstützung separater Flink-Anwendungen und Flink-Management-Engine-Konnektoren, das Hinzufügen von Snapshots und Anwendungen mit demselben Namen vor dem Jobstart und die Unterstützung von DSS-Proxy-Benutzern. Erhöhen Sie die lokale Erfassung und das Zurückschreiben der Flink-Anwendungsprotokollaggregation. Streamis 0.3.0 ist mit der Linkis-Mehrfachversion (>= 1.1.2) kompatibel, aber die getrennte verwandte Funktion erfordert 1.4.0 oder höher.

Streamis 0.3.0 fügt hauptsächlich die folgenden Funktionen hinzu:

Flink-Aufgaben fügen einen separaten Verwaltungsmodus hinzu (erfordert Linkis 1.4.0)
Flink-Management-EC-Unterstützung hinzufügen (erfordert Linkis 1.4.0)
Fügen Sie eine Startprüfung für den Job-Task-Start hinzu, überprüfen Sie die Snapshot-Adresse und die Anwendung mit demselben Namen auf Garn (erfordert Linkis 1.4.0).
Unterstützung für DSS-Proxy-Benutzer (erfordert DSS 1.1.2)
Sammeln und aggregieren Sie Rückrufe von Yarn-Streaming-Anwendungsprotokollen und schreiben Sie sie lokal auf der Streamis-Seite. Das Sammelterminal unterstützt das Filtern von Rückrufprotokollen nach verschiedenen Ebenen

Abkürzung:

DSS: DataSphereStudio

Neue Eigenschaften

[Streamis-jobmanager] Flink-Task fügt separaten Verwaltungsmodus hinzu
[Streamis-jobmanager] Flink-Management-EC-Unterstützung hinzufügen
[Streamis-jobmanager] Der Start der Streamis-Jobaufgabe fügt eine Startprüfung hinzu
[Streamis-jobmanager] Beim Starten eines Jobs wird automatisch die Anwendung mit demselben Namen auf Garn überprüft
[Streamis-jobmanager] Import der Streamis-Anwendungsparameterkonfiguration
[Streamis-jobmanager] sammelt und aggregiert Stream-Anwendungsprotokolle und schreibt sie lokal auf der Streamis-Seite
[Streamis-appconn] Anpassung der Streamis-Datenschnittstellenberechtigungen
[Streamis-appconn] Arbeiten Sie mit DSS zusammen, um Proxy-Benutzer zu wechseln
[Streamis-jobmanager]-Jobs unterstützen die Label-Filterung

Funktionserweiterung

[Streamis-Web] Rendering und Schnittstellenanpassung der Aufgabenkonfigurationsschnittstelle
[Streamis-jobmanager] Realisieren Sie den automatischen Neustart von Streaming-Anwendungen und optimieren Sie das Stromproblem
[Streamis-jobmanager] Streamis-Aufgabenabbruchprozessanpassung, optimierte Jobstoppfunktion, Planung hinzugefügt
[Streamis-jobmanager] Keyword-Filterstrategie auf der Sammlungsseite hinzugefügt
[Streamis-jobmanager] Die Anwendungsinitialisierung unterstützt den Online-Import und die Versionsverwaltung von Anwendungen
[Streamis-jobmanager] Überprüfen Sie den Fehler, bevor die Aufgabe beginnt, um die Person zu warnen
[Streamis-jobmanager] unterstützt mehrere Laufwerksbuchstaben zum Speichern von Streaming-Anwendungsprotokollen
[Streamis-projectmanager] Laden Sie Projektressourcendateien hoch, um MD5 hinzuzufügen

Fehlerbehebung

[Streamis-Web] Beheben Sie das Problem, dass die Seite mit dem historischen Aufgabenprotokoll die nächste Seite nicht anzeigen kann, und zeigen Sie das ausgelagerte Flink-EC-Protokoll in der Protokolloberfläche an
[Streamis] Fehler und Gerüche beim Codescannen behoben

Mitwirkender

Die Veröffentlichung von Streamis 0.3.0 ist untrennbar mit den Mitwirkenden der Streamis-Community verbunden, vielen Dank an alle Community-Mitwirkenden.

Installationspaket

Streamis0.3.0-Installationspaket: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz

Streamis0.3.0 Appconn-Plug-in-Paket: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip

DSS1.1.2&Linkis1.4.0 One-Click-Installationspaket: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip

- ENDE -

So werden Sie Community-Mitwirkender

1 ►Offizieller Dokumentbeitrag. Beteiligen Sie sich an Community-Beiträgen, indem Sie Mängel in der Dokumentation entdecken, die Dokumentation optimieren und die Dokumentation kontinuierlich aktualisieren. Machen Sie Entwickler durch Dokumentbeiträge mit der Einreichung von PR vertraut und beteiligen Sie sich wirklich am Aufbau der Community. Referenzhandbuch: Tutorial für Nanny-Niveau: So werden Sie Mitwirkender an Apache Linkis-Dokumenten

2 ►Code- Beitrag. Wir haben die einfachen und leicht zu startenden Aufgaben in der Community aussortiert, die sich sehr gut für Neulinge eignen, um Code beizutragen. Bitte beachten Sie die Aufgabenliste für Anfänger: https://github.com/apache/incubator-linkis/issues/1161

3 ►Beitrag: Veröffentlichen Sie Inhalte im Zusammenhang mit WeDataSphere-Open-Source-Komponenten, einschließlich, aber nicht beschränkt auf Installations- und Bereitstellungs-Tutorials, Nutzungserfahrungen, Fallbeispiele usw., in jeglicher Form, bitte tragen Sie zum Assistenten bei. Zum Beispiel:

4 ►Community-Fragen und Antworten: Beantworten Sie aktiv Fragen in der Community, teilen Sie Technologie, helfen Sie Entwicklern bei der Lösung von Problemen usw.;

5 ►Sonstiges: Nehmen Sie aktiv an Gemeinschaftsaktivitäten teil, werden Sie ehrenamtlich in der Gemeinde, helfen Sie bei der Öffentlichkeitsarbeit in der Gemeinde, geben Sie wirksame Vorschläge für die Gemeindeentwicklung usw.;

Die neue Version von Streamis 0.3.0, dem Managementsystem für die Entwicklung von Streaming-Anwendungen, wird veröffentlicht