Streamis の紹介
Streamis は、WeBank、Tianyi Cloud、Xianweng Technology、Samoyed Cloud が共同で構築したストリーミング アプリケーション開発管理システムです。DataSphere Studio のフレームワーク機能 とLinkisの Flink エンジンへの基盤となるリンクに基づいて 、ユーザーはストリーミング アプリケーションの開発、デバッグ、リリース、運用管理を低コストで完了できます。
将来的には、ワークフロー スタイルのグラフィカル ドラッグ アンド ドロップ開発エクスペリエンスを使用して、ソース ノード、ディメンション ノード、トランスフォーム ノード、シンク ノード、および Visualis ノードを備えたストリーミング アプリケーションをストリーミング ワークフローに接続することも計画されており、ユーザーは次のことを行うことができ ます 。ストリーミング アプリケーションの開発、デバッグ、リリースを完了するための学習コスト。
Github：https://github.com/WeBankFinTech/Streamis
Streamis 0.3.0 新しいリリースノート
Streamis 0.3.0 には、いくつかの重要なアーキテクチャの更新と最適化があり、主に個別の Flink アプリケーションと Flink 管理エンジン コネクタのサポート、ジョブの開始前に同じ名前のスナップショットとアプリケーションの追加、DSS プロキシ ユーザーのサポートが行われています。Flink アプリケーション ログ集約のローカルでの収集とライトバックを増やします。Streamis 0.3.0 は Linkis マルチバージョン (>= 1.1.2) と互換性がありますが、分離された関連機能には 1.4.0 以降が必要です。
Streamis 0.3.0では主に以下の機能が追加されています。
-
Flink タスクは別の管理モードを追加します (Linkis 1.4.0 が必要)
-
Flink 管理 EC サポートを追加 (Linkis 1.4.0 が必要)
-
ジョブタスクの起動に起動チェックを追加し、スナップショットアドレスとyarn上の同じ名前のアプリケーションをチェックします（Linkis 1.4.0が必要）
-
DSS プロキシ ユーザーのサポート (DSS 1.1.2 が必要)
-
Yarn ストリーミング アプリケーション ログ コールバックを収集および集約し、ストリーム側でローカルに書き込みます。収集ターミナルは、さまざまなレベルに応じたコールバック ログのフィルタリングをサポートします
略語：
-
DSS: データスフィアスタジオ
新機能
-
[Streamis-jobmanager] flink タスクにより個別の管理モードが追加される
-
[Streamis-jobmanager] flink 管理 EC サポートを追加
-
[Streamis-jobmanager] Streamis ジョブタスクの起動に起動チェックを追加
-
[Streamis-jobmanager] ジョブ開始時にyarn上の同名のアプリケーションを自動的にチェックします
-
[Streamis-jobmanager] streamis アプリケーションパラメータ設定インポート
-
[Streamis-jobmanager]は、ストリームアプリケーションのログを収集・集約し、streamis側でローカルに書き込みます。
-
[Streamis-appconn] Streamisデータインターフェースの権限調整
-
[Streamis-appconn] DSS と連携してプロキシ ユーザーを切り替える
-
[Streamis-jobmanager] ジョブはラベル フィルタリングをサポートします
機能強化
-
【Streamis-Web】タスク設定インターフェースのレンダリングとインターフェース調整
-
[Streamis-jobmanager] ストリーミングアプリケーションの自動再起動を実現し、電力問題を最適化します。
-
[Streamis-jobmanager] Streamisタスク中止処理の調整、ジョブ停止機能の最適化、スケジューリングの追加
-
[Streamis-jobmanager] コレクション側にキーワード フィルタリング戦略を追加しました
-
[Streamis-jobmanager] アプリケーションの初期化は、アプリケーションのオンライン インポートとバージョン管理をサポートします
-
[Streamis-jobmanager] タスクが開始される前に失敗を確認してユーザーに警告する
-
[Streamis-jobmanager] はストリーミング アプリケーション ログを保存するための複数のドライブ文字をサポートします
-
[Streamis-projectmanager] プロジェクト リソース ファイルをアップロードして md5 を追加します
バグの修正
-
[Streamis-Web] 履歴タスクログページで次のページが表示できない問題を修正し、ログインターフェイスに flink ec paged ログを表示する
-
[Streamis] コードスキャンのバグと臭いを修正
寄稿者
Streamis 0.3.0 のリリースは、Streamis コミュニティの貢献者と切り離せないものであり、コミュニティの貢献者の皆様のおかげです。
インストールパッケージ
Streamis0.3.0 インストール パッケージ: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz
Streamis0.3.0 appconn プラグイン パッケージ: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip
DSS1.1.2&Linkis1.4.0 ワンクリック インストール パッケージ: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip
- 終わり -
コミュニティ貢献者になる方法
1 ►公式文書の寄稿。ドキュメントの不備を発見し、ドキュメントを最適化し、ドキュメントを継続的に更新することで、コミュニティへの貢献に参加します。ドキュメントの投稿を通じて、開発者が PR の送信方法を理解し、コミュニティの構築に真に参加できるようにします。リファレンスガイド:ナニーレベルのチュートリアル: Apache Linkis ドキュメントの寄稿者になる方法
2 ►コードの貢献。コミュニティでは、初心者がコードを投稿するのに非常に適した、シンプルで始めやすいタスクを整理しました。初心者向けのタスク リストを参照してください: https://github.com/apache/incubator-linkis/issues/1161
3 ►貢献:インストールと展開のチュートリアル、使用体験、事例実践などを含むがこれらに限定されない、 WeDataSphere オープン ソース コンポーネントに関連するコンテンツをあらゆる形式で公開します例えば：
4 ►コミュニティQ&A: コミュニティでの質問に積極的に回答し、テクノロジーを共有し、開発者の問題解決を支援します。
5 ►その他: 地域活動への積極的な参加、地域ボランティア活動、地域広報活動の協力、地域発展への効果的な提案など。