データ収集ETLとストリーミングバッチ統合フレームワーク
特徴: 効率的、安定性、高速、安全
bboss は、オープンソース契約 Apache License に基づいて公開されているオープンソース プロジェクトであり、主に以下の 3 つの部分で構成されます。
- Elasticsearch Highlevel Java Restclient 、高性能で互換性の高い Elasticsearch/Opensearch Java クライアント フレームワーク
- データ収集同期 ETL は 、データ収集操作を実装するための Java 言語に基づく強力な ETL ツールで、豊富な入力プラグインと出力プラグインを提供し、プラグインに基づいて新しい入力プラグインと出力プラグインを簡単に拡張できます。 -仕様上。
- ストリーム バッチ統合コンピューティング フレームワークは、柔軟なデータ インジケーター統計とストリーム バッチ統合処理機能のためのシンプルなフレームワークを提供します。データ収集および同期 ETL ツールと組み合わせて、データ ストリーム処理およびバッチ処理計算を実装することもできます。計算結果は、さまざまなリレーショナル データベース、分散データ ウェアハウス Elasticsearch、Clickhouse などに保存でき、データ量と規模が小さいエンタープライズ レベルのデータ分析およびコンピューティング シナリオに特に適しています。結果が得られ、運用とメンテナンスが容易なため、企業のコスト削減に役立ちます。
参考資料
https://esdoc.bbossgroups.com/#/db-es-tool
bboss ETL プラグイン使用ガイド
https://esdoc.bbossgroups.com/#/datatran-plugins
bboss詳細紹介資料
https://esdoc.bbossgroups.com/#/README
BOSS実戦動画
Elasticsearch Bboss Stream ETL 紹介ビデオ
Mysql binlog データのリアルタイム収集の追加、削除、および変更のビデオ チュートリアル
bboss フローバッチ統合コンピューティング入門チュートリアル
Elasticsearch は Excel ファイルをエクスポートし、レコード数に応じて Excel ファイルをカットして、単一ファイルの過剰なエクスポートの問題を解決します。