ESベースのリレーショナルデータベースや検索エンジン、マルチソース百億、ビッグデータのデータ解析プログラム

背景:

同社のビジネスの急速な発展と拡大に伴い、サーバや様々なアプリケーションは、アプリケーションシステムながら、サーバーの安定性を増加し、持続可能性が高い要件を提唱し、同社は、包括的なセットを構築したいと考えています様々な部品のための意思決定支援を提供するために、分析および監視システム。

対処する必要があります:

(1)データアイランドの問題、異なる業務システム間で分散データ。

(2)効率的に収集して保存する方法についてのサーバーのログ情報。

(3)ビジネス分析は、それは多くの場合、前方の新たな需要を入れて、固定されていない必要があり、様々な部門のニーズを満たすためにどのように。

(4)上記の問題マルチソースに基づいて、視覚分析システムを建立方法迅速。

技術の選択と全体的なアーキテクチャ:

8d73d7d3-1991-43f1-a7e8-dbf740669344

プログラム:ビンアーキテクチャパターンの数に基づいてトラフィックデータのETL、

3c87a0c1-D10B-406D-bd30-272fa1fd86b8

オプションII:ダイレクトモードのデータを使用して

(1)主にlogstashログ収集することによって取得し、検索エンジンに格納されています。

(2)ビジネス・システム・データは、最初のいくつかの位置の構築2つのソリューションのアーキテクチャを使用することができ、いくつかの異なるビンに一緒にデータをもたらす、第二:ビッグデータ分析のための直接ダイレクトドッキングプラットフォームを介して、

大規模なデータの可視化がNBI大きなデータ可視化プラットフォームの分析を用いて分析した(3)、マルチソース・データ・分析を実現することができる、よくelasticsearchに支持され、リレーショナルデータベース、データが大きなデータ・ストレージ・プラットフォームにアクセスし、オレンジ色の種類は非常に柔軟で、アクセス制御により編集をして、アクセス権を設定し、企業のデータ資産有効活用のセキュリティを保護し、レイアウトモード、すばやく視覚的な分析アプリケーションのすべての種類を構築することができます。

(4)データ分析アプリケーションの様々なタイプを構築するためのNBI大きなデータ可視化分析プラットフォーム、対応する部門の担当者に出力することにより、最終的な。

注意事項:

(1)Elasticsearchは、対話型分析を容易にするか、バージョンダウンロードウィジェットに対応するESに従って、プラグ-SQL elasticsearch-SQLをインストールする必要があります。

SQLモデリングのための(2)NBIビッグデータプラットフォーム、現在のモデリングElasticsearchサポート

ステップ:

(1)データプラットフォームにデータ管理モジュールによって大NBIはElasticsearchデータソースを追加しています。

30605a2f-0179から4506-b337-94f4a25e0167

データソース接続

(2)試験は正常Elasticsearchに接続することができるかどうか、接続をテストします

f367e0c3-601f-4564-aaed-88f2ecb9bf09

接続テスト

SQLワークシートモデルの確立〜(3)の接続が成功し、

cfaca5f2-1205-41b5-8cf1-e50a26cf9014

データワークシートモデルを作成します。

(4)データのレポートを作成:

c4277735-4b65-4f46-959c-4006eabceff9

可視化レポートビルダ

(5)アクセス権を設定します。

1d66716775774db5b016df06031e8a22

アクセス権

上記ケースNBI大きなデータ可視化ツール(nbi.easydatavis.com:8033)終了

おすすめ

転載: blog.51cto.com/14465598/2432875