Hengchi Information [技術専門家委員会] 特別コラム第 3 号、技術的な乾物共有と業界の注目トピックに焦点を当てています。この号の著者: Oscar Li
ビッグデータのエコシステムは、データ収集層、データ計算層、データ適用層の 3 つの層に分かれています。データ収集層については、前回のビッグデータのトピックで紹介しましたが、引き続き見ていきましょう...
【データ計算層】
ビッグデータをデータ ストレージ システムに収集するだけでは十分ではなく、統合コンピューティングを通じてのみデータの価値を活用できます。
データ コンピューティング層は、オフライン データ コンピューティングとリアルタイム データ コンピューティングに分けることができます。
オフライン データ計算は主に従来のデータ ウェアハウスを指します。計算は日単位で行うことも、時間単位で細分化することも、週や月単位で集計することもできます。主にT+1モードで実行されます。つまり、前日のデータが毎朝処理されます。ビジネスの発展に伴い、一部のビジネス要件のリアルタイム要件は徐々に増加しており、リアルタイム コンピューティングのアプリケーション シナリオはますます広範囲になっています。例えば、eコマースのリアルタイムトランザクションデータ更新、機器稼働状況レポート、アクティブユーザーのリアルタイムセグメント変化など。
ビッグ データ コンピューティングには膨大なリソースが必要であり、通常、多数のデータ コンピューティング タスクはリソース管理システムを通じてクラスターを共有する必要があります。ビッグデータの計算は通常独立しておらず、ある計算タスクの動作が別のタスクの結果に依存する場合がありますが、タスクスケジューリングシステムを利用することでタスク間の依存関係をうまく処理し、タスクの自動動作を実現します。
どのようなデータ計算であっても、データ計算の前提となるのは、データを標準化して合理的に計画し、標準化され統一されたデータウェアハウスシステムを構築することです。合理的かつ包括的なデータウェアハウスシステムを構築することで、データの重複や二重計算などの問題を回避し、データの価値を最大化します。このため、データ ウェアハウスの階層化の概念は徐々に強化され、改善されてきました。現在広く使用されているデータ ウェアハウスの階層化の概念では、データ ウェアハウスを元のデータ層、詳細データ層、概要データ層、アプリケーションデータ層の4つの層に分割します。分業と異なるレベルのデータの分類を通じて、データはより標準化され、ユーザーがより迅速に実現し、データをより明確に管理できるようになります。
【データアプリケーション層】
データを統合・計算した後、最終的にユーザーに提供するのがデータアプリケーション層です。さまざまなデータ プラットフォームには、さまざまなデータ要件に応じた独自の対応するデータ アプリケーション層の計画と設計があり、最終的なデータ要件の計算結果は、Mysql、HBase、Redis、Elasticsearch などのさまざまなデータベース上に構築できます。これらのデータベースを通じて、ユーザーは最終結果データに簡単にアクセスできます。
最終結果データは、さまざまなユーザーやさまざまなレベルでのデータ呼び出しの量により、さまざまな課題に直面する可能性があります。より安定したサービスをユーザーに提供する方法、さまざまなユーザーの複雑なデータ ビジネス ニーズを満たす方法、データ サービス インターフェイスの高可用性を確保する方法はすべて、データ アプリケーション層で考慮する必要がある問題です。
（つづく）
【Hengchi Information：ワンストップビッグデータBIソリューション】
HUAWEI CLOUD データウェアハウスサービス GaussDB (DWS) + BI ツールと基本サービスを利用して、倉庫、倉庫、都市、湖、+IoT を実現し、倉庫と湖を 1 つに統合し、グローバルで直観的で関連性があり、可視化された運用デジタル分析と意思決定プラットフォームを構築し、データ分析を使用してビジネス価値の向上と経営改善を推進します。
ソリューションの利点
● データアイランドの打破: システムおよびプラットフォームを越えたデータ統合により、ビジネスデータの相互接続と情報共有を実現します。
● 統合データ意思決定プラットフォーム: 統合データ統計キャリバー、企業運用データの多次元分析、企業の科学的な意思決定を支援します。
● マルチ端末データ表示：PC端末/モバイル端末/大画面、いつでもどこでも関係者の情報ニーズに応えます。