データセンターアーキテクチャシステムの理解

現在、ほとんどの企業は、データを一元的に収集して保存し、階層化された構造を適用することを好みます。この方法は、アプリケーションシステムの迅速な展開に役立つ一方で、データの資産とリソースの属性を反映して、データの集中管理と操作を保証します。

データセンターの登場により、開発スピードのミスマッチによるデータ開発とアプリ開発の対応力不足などの欠点を補うことができます。

データセンターは、アリの「大・中・小のフロントデスク」という概念から出発して、国内の学者によって提案された概念です。Ali のミドルオフィスは、管理の観点から始まり、ミドルオフィスのビジネス部門を使用して、データ検索、技術と製品、データ共有などの複数の部門の機能を集中化します。他の組織や企業は、データセンターを構築するために必ずしも中国 - 台湾ビジネスユニットを設立する必要はありませんが、データの集中管理とデータ価値変換の効率化の考え方は一貫しています。

データセンターの一般的なアーキテクチャ

データ処理とデータガバナンスの 2 つの側面から始めて、分離されたデータセンターアーキテクチャを設計できます。データミドルプラットフォームアーキテクチャには一定の柔軟性があり、エンタープライズアプリケーションの要件に従って組み合わせたり、単一のモジュールを拡張したりできます。これにより、ほとんどのエンタープライズデータミドルプラットフォーム構築のニーズを満たすことができます。

データセンターの一般的なアーキテクチャを上の図に示します。機能の冗長性を減らし、機能の再利用を改善するという原則に基づいて、ミドルプラットフォームアーキテクチャは、データミドルプラットフォームを 6 つの機能サブシステムに分離し、独立して構築および進化させることができます。

データ構造とデータ処理サブシステムはデータセンターシステムアーキテクチャの中核であり、データガバナンスはデータの価値を高める重要な手段です。データセンターアーキテクチャの多様性は、次の点に現れています。

データ中間ステーションのアーキテクチャは、データ中間ステーションのさまざまな要素を包括的に考慮し、このアーキテクチャを参照して構築することで、データ資産の価値を効果的に高め、データとサービスの共有を提供できます。
このデータセンターシステムアーキテクチャを参照すると、企業は一度計画を立てれば、段階的に実装できます。最初に処理サブシステムとデータストレージサブシステムを構築し、次にビジネス開発のニーズに応じて、データ収集、データセキュリティ、およびデータガバナンスサブシステムを徐々に補完します。
データセンターは、6 つの分離されたサブシステムで構成されています。各サブシステムを個別に入札して建設することも、複数のサブシステムを組み合わせて入札建設することもできます。データセンターの一般的なアーキテクチャには、データストレージフレームワーク、データ取得フレームワーク、データ処理フレームワーク、データガバナンスフレームワーク、データセキュリティフレームワーク、およびデータ操作フレームワークの 6 つの部分があります。

1. データストレージフレームワーク

データセンターの中核はデータであり、取得システムを通じて取得され、処理フレームワークを通じて処理され、データガバナンスフレームワークの管理を受け入れ、データセキュリティ管理フレームワークの管理も受け入れ、最後にオープン値データはデータ操作フレームワークを通過します外部データサービスを提供します。

データセンターのデータアーキテクチャは個別に計画する必要があり、合理的な技術アーキテクチャを使用してさまざまな種類のデータを格納する必要があります。

データストレージフレームワークでは、データがオブジェクトストレージ、ブロックストレージ、またはデータベースストレージテクノロジーを採用しているかどうかに関係なく、さまざまなミドルエンドデータを上図に示すように分類して管理できます。

ソースデータは主に取得フレームワークによって管理されます. データガバナンスフレームワークは、データの特性に応じてデータを構造化データと非構造化データの2つのカテゴリに単純に分割します.標準化されたドメイン分割データは、データ全体の正規化されたドメインベースの配置です.データガバナンスフレームワークによって。ワイドテーブルデータは、データの関連付けの結果です. ワイドテーブルデータを使用すると、人、物、場所、オブジェクト、グループ、およびその他のオブジェクトの完全なデータポートレートを作成できます. 同時に、ワイドテーブルデータは中間層としても使用できます.上位機種データのデータ。

メタデータとラベルデータは、どちらもデータの記述です. メタデータは、データの客観的な属性を表現するために使用されます. ラベルデータは、品質レベルラベル、セキュリティラベル、および属性など、データの管理者の主観的な表現と分類により傾向があります. ラベルなど. マスターデータは頻繁に更新され、システム間で交換される必要があり、保守と管理のために独立したストレージスペースが必要です。

2. データ収集の枠組み

データセンターの収集フレームワークは、データセンターに含まれるさまざまなソースデータを一元的に収集および管理する必要があります。ファイル転送プロトコルの収集、データベースの収集、インターフェイスアプリケーションプログラムのアクセスの収集、ストリームの収集、Web クローラーの収集など、さまざまなデータの収集方法をデータ収集フレームワークで提供する必要があります。

同時に、取得フレームワークは、データ取得仕様に従ってソースデータを前処理して、明らかに不要なデータと冗長データを削除し、取得プロセスを管理する必要があります。データセンターのシステムアーキテクチャには統一されたテンプレートはありませんが、すべての企業のデータ収集フレームワークは基本的に一貫しています。

3. データ処理フレームワーク

データ処理は、すべてのデータアプリケーションの基本的なリンクの 1 つです。従来のデータ抽出、変換、読み込み (ETL) 処理フローは、データ取得前処理、データ統合、データモデリングなどの複数の場所で使用されます。データ処理フレームワークを単独で構築することは、データ処理ツールコンポーネントの集中開発と管理に役立ち、データセンターでのデータ処理タスクの調整とスケジューリングにも役立ちます。

データ処理フレームワークは、バッチ処理、ストリーム処理、人工知能分析、データクリーニング、データ交換、およびクエリを含むデータ処理関連のタスクを特に担当します. さらに、データ処理に関連するツールコンポーネントを処理フレームワークで構成できます. タスクスケジューリングモジュールは、データ処理フレームワークの中間コマンドの役割にあり、実行中のデータ処理タスクの監視や例外処理などの操作を実行します。

4. データガバナンスフレームワーク

広義のデータガバナンスには、データ管理、データカタログ、データ品質など、データの価値を高めるコンテンツだけでなく、データセキュリティ管理やデータ共有サービスも含まれます。

データのセキュリティ管理とデータの価値向上は矛盾メーカーや開発チームがデータのセキュリティ管理とデータの価値向上に関連するソフトウェアを開発すると、必然的に開発者の操作に偏りが生じ、矛盾は簡単には明らかにされません。紛争の解決策。

さらに、データ共有やその他のデータガバナンスの側面にも同じ問題があります。したがって、このホワイトペーパーでは、データセンターのデータガバナンスフレームワークには、データセキュリティと共有関連コンテンツが含まれていないことを示唆しています。

データガバナンスフレームワークには、データカタログ、データ管理、モデル管理、データ品質の 4 つのモジュールが含まれます。

データマップ、データアセットカタログ、ナレッジグラフ、およびデータ系統の主な機能は、データの属性と関係を表示することであるため、これらはすべてデータカタログモジュールに含まれています。
データモデルは、外部アプリケーションの要件に対するデータセンターの応答能力を向上させることができ、固化された中間モデルデータには特別な管理が必要です。モデル管理には、モデルカタログ、モデル系統、モデルマップなどが含まれます。
データ管理は、メタデータ管理、マスターデータ管理、ラベルデータ管理、およびソースデータ管理に細分できます。
データ品質管理モジュールは、確立されたデータ標準とデータ監査ルールに従って、データセンター内のデータの品質を管理します。

5. データセキュリティフレームワーク

データはデータ資産となり、データセキュリティフレームワークはデータセンターに不可欠な要素となっています。データセキュリティは、データセンターの他の機能フレームワークに重ね合わされており、データの収集、処理、交換、共有などのすべてのリンクは、セキュリティ制御戦略を実装する必要があります。セキュリティフレームワークは、ログ管理、ユーザー認証、権限管理、暗号化と復号化など、いくつかの機能モジュールに分けることができます。

さらに、セキュリティポータルは、外部セキュリティ機能パッケージを提供して、データプラットフォームのセキュリティ状況とセキュリティビューを表示することもできます。

6. データ操作フレームワーク

データセンターのコア機能は、多くのデータアプリケーションのデータ処理およびデータガバナンス機能を統合し、集中構築、集中管理、冗長性の削減、および再利用の増加です。データセンターの最終的な目標は、他のアプリケーションや開発者にデータサービスを提供することですが、外部データサービス機能は不確実な外部オブジェクトに直接直面します。

したがって、データ操作の別個の構造は、一方では外部ユーザーに目的の機能を提供するのに役立ちます;他方では、データ操作モジュールは、ユーザーとデータセンターのコアデータサービスとの間の中間層として、外部ユーザーを直接の制御やコアへのアクセスから効果的に分離データとアプリケーションは、データセンターのセキュリティと内部機能の安定性を保護できます。

上記の要因に基づいて、データ操作には、操作ポータル、機能のオープン、データのオープン、および操作の監視などの機能を装備する必要があります。

運用ポータル:データセンターの管理者には管理ポータルを提供し、開発者には開発者ポータルを提供します。内部アプリケーション用に内部アプリケーションポータルが提供され、外部アプリケーション用に外部アプリケーションポータルが提供されます。オペレーションポータルは、さまざまなユーザーにさまざまなチャネルを提供し、さまざまなデータセンター機能を開きます。
機能のオープン性:データセンターのデータ処理機能とデータ分析機能を適切にパッケージ化した後、ユーザーにサービスを提供します。これは、マイクロサービス、API インターフェイス、または二次開発機能を直接提供することができます。
オープンデータ:データカタログとデータ/モデルのプレゼンテーション (視覚化、データビューなど) を通じて、他のデータアプリケーションシステムにデータサービスを提供します。
運用監視：ハードウェア環境とソフトウェア環境を含むデータセンターの全体的な運用を監視および管理し、監視指標を決定し、必要に応じて毎日の運用レポートを提供し、アラーム情報を処理します。

データセンターの典型的なアーキテクチャ

データセンターの目的は、データを継続的に使用できるようにすることです. データセンターが提供するツール、方法、および操作メカニズムを通じて、データをサービス機能に変えることができるため、データをより便利に使用できます.ビジネス。下の図は、データセンターの全体的なアーキテクチャを示しています。これは、基盤となるストレージコンピューティングプラットフォームと上位のデータアプリケーションの間の完全なシステムです。

データセンターの全体的なアーキテクチャ

データミドルプラットフォームは、基盤となるストレージプラットフォームの複雑なコンピューティングテクノロジを保護し、技術的な人材の需要を減らし、データ使用のコストを下げます。データセンターでのデータ集約およびデータ開発モジュールを通じて、エンタープライズデータ資産を確立します。資産管理、ガバナンス、およびデータサービスを通じて、データ資産はエンタープライズビジネスに役立つデータサービス機能に変換されます。データセキュリティシステムとデータ運用システムは、データセンターの長期にわたる健全で継続的な運用を保証します。

1. データ集約

データ集約は、データセンター内のデータアクセスのエントリポイントです。データセンター自体はほとんどデータを生成しません.すべてのデータは、ビジネスシステム、ログ、ファイル、ネットワークなどから取得されます.これらのデータは、さまざまなネットワーク環境やストレージプラットフォームに分散しているため、ビジネス価値の使用と生成が困難です.

データ集約は、データセンターが提供する必要があるコアツールであり、さまざまな異種ネットワークおよび異種データソースからのデータをデータセンターに簡単に収集して、集中ストレージ用に収集し、その後の処理とモデリングに備えることができます。データの集計方法には、一般的にデータベース同期、ポイント埋め込み、Web クローラー、メッセージキューなどがありますが、集計の適時性に関しては、オフラインバッチ集計とリアルタイム収集があります。

2. データ開発

データ集約モジュールを介して中間局に集約されたデータは、何の処理も行われておらず、基本的にはデータの元の状態に従って積み上げられているため、ビジネスはまだ使いにくいです。データ開発は、データ処理とプロセス制御のための一連のツールです.経験豊富なデータ開発およびアルゴリズムモデリング担当者は、データ処理モジュールによって提供される機能を使用して、データをビジネスで使用する価値のある形式にすばやく処理できます.

データ開発モジュールは主に開発者とアナリスト向けであり、オフライン、リアルタイム、アルゴリズム開発ツール、およびタスク管理、コードリリース、運用と保守、監視、アラームなどの一連の統合ツールを提供し、使いやすく、効率を改善します。

3. データ資産システム

データ集約およびデータ開発モジュールにより、中間プラットフォームはすでに従来のデータウェアハウスプラットフォームの基本機能を備えており、データ集約およびさまざまなデータ開発を行うことができ、企業のデータ資産システムを確立できます。データ資産システムは Zhongtai の血肉であり、開発、管理、使用されるものはすべてデータであると以前に言われました。ビッグデータの時代、データ量は膨大で成長も速く、ビジネスのデータ依存度はますます高くなり、データの一貫性と再利用性を考慮する必要があります.垂直煙突のようなデータとデータサービス建設方法は、長い間存在しない運命にあります。

異なる企業は異なるビジネスのために異なるデータを持っており、データ構築の内容も異なりますが、構築方法は類似している可能性があり、データは統一された方法で構築する必要があります.著者はデータを統一的に構築することをお勧めします.ソースデータ、統合データウェアハウス、ラベルデータ、およびアプリケーションデータの投稿基準に準拠した方法。

4. データ資産管理

データ資産システムを通じて確立されたデータ資産は、依然として技術データシステムであり、ビジネス担当者が理解することは困難です。資産管理とは、企業のすべての従業員がよりよく理解できる方法で、企業のすべての従業員に企業のデータ資産を提示することです (もちろん、権限とセキュリティ制御を考慮する必要があります)。データ資産管理には、データ資産カタログが含まれます。、メタデータ、データ品質、データ系統、データライフサイクルなどを管理および表示し、企業のデータ資産をより直感的な方法で表示し、企業のデータ認識を高めます。

5.データサービスシステム

これまでは、データ集約とデータ開発を使用してエンタープライズデータ資産を構築し、データ管理を使用してエンタープライズデータ資産を表示していましたが、データの価値が十分に活用されていませんでした。データサービスシステムは、データをサービス機能に変えることであり、データサービスを通じて、データを使用してビジネスに参加し、データセンター全体を活性化することができます.データサービスシステムは、データセンターの価値です.

企業のデータサービスは常に変化しています.ミドルエンド製品はいくつかの標準サービスを運ぶことができます.しかし、企業のサービス需要を満たすことは困難です.ほとんどのサービスは、依然としてミドルエンド機能を通じて迅速にカスタマイズする必要があります. データセンターのサービスモジュールには多くのサービスが付属していませんが、サービス制御、認証、測定などの迅速なサービス生成機能と機能を提供します。

6. オペレーティングシステムとセキュリティシステム

以前のデータ集約、データ開発、データ資産、資産管理、およびデータサービスを通じて、データミドルプラットフォーム全体の確立と構築が完了し、ビジネスでも一定の価値を発揮しました。

オペレーティングシステムとセキュリティシステムは、データセンターの健全で継続的な運用の基盤です. それらがなければ、データセンターは一般的なプロジェクトのようになる可能性があります. 最初のフェーズでプラットフォームを構築した後、いくつかのデータを構築し、試してみます. 1 つまたは 2 つのアプリケーションシナリオ停止すると、正常に動作し続けることができなくなり、データアプリケーションの価値を発揮し続けることができなくなります。これでは、データセンターを構築するという目標も完全に達成できません。

エンタープライズデータセンターのアーキテクチャ図

1. テクニカルミドルプラットフォームアーキテクチャ図

ミドルプラットフォームの概念が登場する前は、情報化モデルでは、フロントエンドはビジネスをサポートするアプリケーションエンドであり、バックエンドは、次のようなフロントエンドユーザーにサービスを提供するさまざまなアプリケーションシステムです。 , サプライヤー, パートナー, および社会. しかし、市場として, ユーザーのニーズとビジネスの変動性により、基盤となる厳格なアプリケーションはタイムリーなサポートを提供できません.

Enterprises need a strong middle layer to provide support for high-frequency and changeable business, and provide multi-terminal access channels for different Audience users. ベンダー、さらには従来のアプリケーションソフトウェアベンダーでさえ、より大きな概念的影響力を持っています。

現在、マイクロサービスの技術とアーキテクチャ、コンテナ化されたエコロジー、Devops の概念とツールは大きな発展段階にあり、最終的には「大、中、小規模のフロントデスク」に基づく情報化構築モデルが一般的になっています。

2. 銀行データアーキテクチャシステム

データアーキテクチャレベルでは、データの分類と階層化された展開によって、非機能的な観点からデータが合理的に配置されます。アーキテクチャ全体の制御と設計を通じて、ビジネスオペレーションと経営分析アプリケーション (システム) をサポートし、ビジネス開発と IT トランスフォーメーションのデータニーズに対応します. アーキテクチャのスケーラビリティと適応性は、データ分析アプリケーションの適時性、柔軟性、および効率を向上させることができます.正確さ。

実際の状況では、各銀行のデータアーキテクチャシステムは異なり、各銀行のビジネス開発、顧客データ量、トランザクションデータ量、および機能要件に応じて、異なる進化パスと開発方向があります。

一般的に、国有銀行や株式会社銀行などの国立銀行は、業務が複雑でデータ量が多いため、データ構造が急速に進化しています。一般的なデータアーキテクチャパーティションを次の図に示します。

3. 小売業のミドルエンド構造

これは、テクノロジーとビジネスを組み合わせたミドルエンドの論理アーキテクチャの概略図です. フロントエンドアプリケーションの部分では、小売および消費財業界の消費者に接続する必要があるいくつかのアプリケーションシステムをリストしました. ただし、以下では従来のアーキテクチャと比べて、「アプリケーションシステム」が大きく変わり、非常に「軽量」になりました。

4. ビジネスミドルプラットフォーム構造

フロントデスクはインターフェイスに従っており、本質的に安定しておらず、常にさまざまなデータ要求があり、これは避けられません。

バックグラウンドは主にデータの保管を担当し、さまざまな形式とスケールのデータを適切に整理する必要があります.ビッグデータは動的すぎるため、ある程度の安定性が必要です.

フォアグラウンドからのすべてのリクエストをバックグラウンドで直接実行する必要がある場合は、バックグラウンドで管理するものが多すぎます。

5. 背景アーキテクチャ

バックステージは多くのフロントエンドで共有されており、柔軟なデータサービスをフロントエンドに直接提供すると、各フロントエンド間の結合度が高くなり、保守コストがすぐに急増する可能性があります。

同様に、これらのデータ処理を最前線に置くことは適切ではありません. 一方で, 安全ではありません. 他方で, フロントエンドチームはインターフェースの見栄えを良くし, よりスムーズに使用できるようにするのに忙しく, 作業を行っていません.データについて考える時間がたくさんあります。このような背景構造は、この矛盾を相対的にバランスさせることができます。

6.リアルタイムデータプラットフォーム

以下は、リアルタイムデータプラットフォームを実現するためのわかりやすい論理アーキテクチャですが、実は最も重要なのはリアルタイムモデルのレイヤーです。

7. エンタープライズレベルのミドルと台湾の開発プロセス

下の図を使用して、Zhongtai の開発の 3 つの段階を要約すると、最終的に、ERP システムを既に持っている企業にとって、Zhongtai の構築の本質は、マイクロサービスアーキテクチャを使用してオープンなビジネスプラットフォームを構築することであることがわかりました。クローズドソースの単一を置き換える ERP システム全体の構造のプロセス。

8.アリ中台構造

Zhongtai は、建築の概念と方法です。あらゆる建築手法の本質は、システムの「エントロピー」を削減するプロセスを達成するために、システムを整然と再構築するために、分離、結合、分解、再編成などの技術的手段を使用することに他なりません。システムを維持し、システムが継続的に進化できるようにします。

九、アリコアのアーキテクチャ図

アリババクラウドプラットフォームを介してテクノロジーミドルプラットフォームを展開し、グループ内の共有ビジネスユニットをサポートし、最後にフロントデスクで各ビジネスラインにサービス指向のアウトプットを提供します。

10. オムニチャネル小売ミドルプラットフォーム

すべてを「大きなバックグラウンド」に詰め込むだけでは、IT の問題点を本当に解決することはできません。IT システムであるためです。ビジネス機能に加えて、IT システムが考慮する必要がある事項は、より重要で価値があります。

11. オムニチャネル統合アーキテクチャ

2007年～2012年は「統合モード」という概念が最も投げ出された時代であり、「SOA」と呼ばれ、その時代の「オムニチャネルミドルプラットフォーム」がSOAでした。

12. Netease はデータミドルプラットフォームシステムを厳密に選択します

データセンターの主な役割は、データフロントデスクが効率的にビジネスに価値を提供できるようにすることです。データプラットフォームを理解するためには、まずデータフロントを理解する必要があります上記の検索、レコメンド、BIレポート、データ大画面などはデータフロントに属します。

産業用データセンターソリューション

▲不動産業界向けソリューション

▲証券業界向けソリューション

▲小売業向けソリューション

▲製造業向けソリューション

▲メディア業界向けソリューション

▲検査業界向けソリューション

要約する

データセンターの構築は、企業や機関のデータ資産の効率的な管理を実現し、データの価値を最大化することができ、データプラットフォームの運用メカニズムを機関にもたらし、アプリケーション開発とデータ開発速度のミスマッチの問題を解決することが期待されています。データミドルプラットフォームを使用すると、組織のコアテクノロジーまたはチームをまとめ、組織内に強力なデータ開発および運用チームを構築し、組織チームのハードおよびソフトの力を強化できます。

優れたアーキテクチャは、その後の情報システムの拡張および運用と保守において重要な役割を果たしますが、全体的なアーキテクチャの設計はデータセンター構築の最初のステップに過ぎず、各機能モジュールにはまだ多くの改善の余地があります。、さまざまな種類のデータストレージテクノロジの選択、データセキュリティコンプライアンス監査テクノロジ、データモデル設計など。特定のプロジェクトでは、データ共有とセキュリティ保護のバランス、新しいテクノロジーの導入など、すべてさらに詳細な調査が必要です。