アーキテクチャの進化を計算するためのリアルタイムデータ

従来のデータ・インフラストラクチャ
の最大の特徴は、ほとんどのコンピューティングおよびストレージ層に、従来の単一データアーキテクチャ、集中型データ記憶装置です。

ストレージ層は、そのようなデータシステム、ウェブサイト、各ユーザーとしてシステムを監視し、ボリュームのWebビジネスシステム、オーダーシステム、CRMシステム、ERPシステムを、注文などのアクティブユーザー数として、データ・ストレージ・会社は様々なシステムを作成するための主に責任があります売上高。
すべての操作は、データベースの助けを借りて達成するために必要とされています。
モノマー最初のアーキテクチャは、非常に効率的ですが、時間が経つにつれて、より多くのサービスのオンライン反復すぐ。
しかし、より多くのポストサービスシステムとして徐々に肥大化になります。正確なデータの単一ソースにデータベース、データベースが変更された場合、各アプリケーションは、対応するデータを取得するためにデータベースにアクセスする必要があるか問題があり、全体の業務システムが影響を受けることになります。

マイクロサービスアーキテクチャの
マイクロシステムサービスが異なる独立したサービスモジュールに分割され、各モジュールは、独自の独立したデータベースを持ち、異なるサービス間で互いに干渉しない、マイクロサービスアーキテクチャは、業務システムの拡張の問題を解決するだけでなく、一緒にこれは新たな問題をもたらしました。
ビジネスデータがあまりにも異なるシステムに分散され、それは、集中データ管理することは困難です。社内データ・ウェアハウス、データ・マイニングとして使用するために、それはデータ・ウェアハウスに各ビジネス・システム・データベースのデータを抽出する必要がある、データ変換およびロード(ETL)、異なるデータマートを構築するために、データウェアハウスに間引かれますアプリケーション、システムに提供されるサービス。

ビッグデータアーキテクチャは、
最初に、データはリレーショナルデータベース上に構築されていますが、企業データの爆発の量で、リレーショナルデータベースはそうHADOOPビルドエンタープライズクラスのビッグデータに基づいて、店舗を下支えし、大規模なデータセットを分析することができませんでしたプラットフォームがコンセンサスとなっています。
その後、統計を報告し、このような需要の高いアプリケーション、リアルタイムのいくつかの時間などのビジネスニーズを満たすことができない徐々に高遅延オフ、それは結果を表示するために非常に低遅延を必要とします。このため業界では、異なるタイプのデータを処理するためにラムダ建築アプローチのセットを前方に置きます。

包含了批量计算的 Batch Layer和实时计算的 Speed Layer,通过在一套平台中,将批计算和流计算结合在一起。
lambda 架构是构建大数据应用程序的一种很有效的解决方案,但还不是最完美的方案

有状态流式架构
数据产生的本质,其实是一条条真实存在的事件,而前面讲的不同的架构所用到的技术,如hadoop,spark,多少都在一定程度上违背了这种本质,需要在一定延时的情况下对业务数据进行处理。
而有状态的流计算架构,基于实时的流式数据,维护所有计算过程的状态,所谓状态就是计算过程中产生的所有中间计算结果,每次计算新的数据进入到流式系统中都是基于中间状态结果的基础上进行计算,最终产生正确的统计结果。

这种架构好处是,不需要从原始数据重新从外部存储中拿出来,从而进行全量计算;另外用户也无需协调各种批量计算工具,从数据仓库中获取统计结果,然后再落地存储,这些操作全部都可以基于流式操作来完成

おすすめ

転載: www.cnblogs.com/nicekk/p/11546384.html