データガバナンスプロフェッショナル認定 CDMP 学習ノート (思考ガイドデータガバナンスプロフェッショナル認定 CDMP 学習ノート (マインドマップとナレッジポイント) - 第 11 章データウェアハウスとビジネスインテリジェンス...

皆さんこんにちは。私は元港湾石炭労働者で、現在は国有企業のビッグデータ担当者として、公式アカウントのビッグデータフローのマネージャーとして働いているDugufengです。会社のニーズとビッグデータの発展傾向のため、ここ 2 年間でデータガバナンスについて学び始めました。

データガバナンスを真に習得するには体系的な学習が必要であり、データガバナンスの学習能力と知識の習熟を証明するには専門試験の認定も必要です。データガバナンスおよびデータガバナンス認定 CDMP について質問がある場合は、私の以前の記事で詳細な紹介を参照してください。

データガバナンスの始め方を5000語で解説（国際データガバナンス認定試験・CDMPスタディグループ付き）

CDMP とは正確には何ですか - データガバナンスの国際認証への超包括的な入門書

総テキスト: 5935 ワード、写真 12 枚

推定読書時間: 15 分

このドキュメントは、データガバナンスに関する学習資料の照合に基づいており、データガバナンスプロフェッショナル認定資格 CDMP の学習ノート (マインドマップとナレッジポイント)用に照合されています。

記事が長いのでブックマークしてから読むことをお勧めします。

以降のドキュメントについては、公式アカウントのビッグデータフローに注意して、更新を続けてください~

このドキュメントは、データウェアハウスとビジネスインテリジェンスの一部であり、5 つの部分に分かれています。

ページの表示の都合上、一部のレベルを完全に展開できません。その構造を下図に示します。

1. データウェアハウジングとビジネスインテリジェンスの概要

データウェアハウス (DW) : 1980 年代に始まり、1990 年代に開発され、その後ビジネスの意思決定の主な原動力としてビジネスインテリジェンス (BI) とともに発展しました。組織がさまざまなソースからのデータを共通のデータモデルに統合できるようにすることで、統合されたデータはビジネス運営への洞察を提供し、企業の意思決定のサポートと組織の価値の創造の新たな可能性を切り開くことができます。

データウェアハウスは、データの冗長性を削減し、情報の一貫性を向上させ、企業がデータを使用してより適切な意思決定を行えるようにする方法を提供します。

データウェアハウスは企業データ管理の中核として認識されています。

ビジネス推進要因: 運用サポート機能、コンプライアンスのニーズ、およびビジネスインテリジェンス活動。

データウェアハウス構築の目標: 1) ビジネスインテリジェンス活動をサポートします。2) ビジネス分析と効率的な意思決定を強化します。3) データの洞察に基づいて革新的な方法を見つけます。

データウェアハウスの構築は次の原則に従う必要があります。1) ビジネス目標に焦点を当てる。2) 終わりを念頭に置いて始めます。3) 全体的な思考と設計、ローカルなアクションと構築。4) 最初から最適化を行うのではなく、要約して最適化を継続します。5) 透明性とセルフサービスを促進します。6) データウェアハウスでメタデータを確立します。DW の成功の鍵は、データを正確に解釈する能力です。7) 相乗効果。他のデータ活動、特にデータガバナンス、データ品質、メタデータ管理活動と連携します。8) 型にはまらないようにしてください。あらゆるタイプのデータ消費者に適切なツールと製品を提供します。

理解しやすいように、この部分のマインドマップを次のように整理します。

2. 基本的な考え方

1. ビジネスインテリジェンス

ビジネスインテリジェンス: 第 1 レベルの意味であるビジネスインテリジェンスは、組織の要求を理解し、機会を探すデータ分析活動を指します。データ分析の結果は、組織の意思決定の成功率を向上させるために使用されます。2 番目の意味では、ビジネスインテリジェンスは、そのようなデータ分析活動をサポートするテクノロジの集合を指します。

ビジネス + テクノロジー。

2. データウェアハウス

データウェアハウス: さまざまな業務や外部ソースからデータを収集、クリーニング、変換、保存するための統合された意思決定支援データベースと関連ソフトウェアプログラム。

データウェアハウスは、ビジネスインテリジェンスの目標を実現するためのデータを提供する、あらゆるデータストレージまたは取得操作を含むように広義に定義されます。

エンタープライズデータウェアハウス (EDW) は、集中型データウェアハウスです。

データマートは、データウェアハウス内のデータのサブセットのコピーです。

3. データウェアハウスの構築

データウェアハウスにおけるデータの抽出、クリーニング、変換、制御、ロードなどの操作プロセス。データウェアハウス構築プロセスの焦点は、ビジネスルールを適用し、適切なビジネスデータの関係を維持することにより、運用データに統合された履歴ビジネス環境を実装することです。メタデータリポジトリと対話するためのプロセスも含まれます。従来の意味での構築は、構造化データに焦点を当ててきました。

4. データウェアハウスの構築方法

データウェアハウスの構築方法。2 人の思想的リーダーである Bill Inmon と Ralph Kimball は、それぞれパラダイムモデリングと多次元モデリングを使用してデータウェアハウスモデリングに取り組んでいます。

Bill Enmen は、「データウェアハウスの構築」で次のように定義しています。データウェアハウスは、企業の管理と意思決定における、主題指向で統合され、時間に関連し、変更不可能なデータのコレクションです。

Ralph Kimball は、「データウェアハウスツールキット」(データウェアハウスツールキット) で提案しました。ボトムアップ (DMDW) アプローチを提唱し、データマートの構築を推進しています。彼は、これを「クエリおよびクエリ用のカスタムメイドのデータマート」と定義しました。分析トランザクションデータのコピー。

それらが従う中心的な概念は似ています。 1) データウェアハウスに保存されているデータは、他のシステムから取得されます。2) データの価値を高める方法でデータを統合します。3) データへのアクセスと分析を促進します。4) すべては、権限のある関係者が信頼できる統合データにアクセスできるようにするためです。5) 構築目的には、ワークフロー支援、運用管理、予測分析が含まれます。

5. 企業情報工場（印門）

エンタープライズインフォメーションファクトリ CIF は、データウェアハウス構築モデルの 1 つであり、データウェアハウスと業務システムの違いです。

1. 主題志向。2. 統合。3. 時間の経過とともに変化します。4.安定しています。

5. 集計データと詳細データ。6. 歴史的。

Corporate Information Factory (Corporate Information Factory、CIF) は以下で構成されます。 1) アプリケーション。2) データ一時保存領域 3) 統合と変換。4) 運用データストレージ (ODS)。5) データマート。6) 運用データマート (OpDM)。運用データマートは、運用上の意思決定のサポートに焦点を当てたデータマートです。データウェアハウスからではなく、運用データストアから直接データを取得することには、運用データストアと同じ特性があります。つまり、頻繁に変更される現在または最近のデータが含まれます。7) データウェアハウス。データマートへの一方向の流れ。8) 運用報告。運用レポートはデータストアから出力されます。9) 参照データ、マスターデータ、外部データ。

6. 多次元データウェアハウス (Kimball)

多次元データウェアハウス (Kimball):ファクトテーブル(販売データなどのビジネスプロセスに関する定量的データが含まれる) とディメンションテーブル(ファクトテーブルデータに関連する記述属性を格納し、データ消費者の質問に対するファクトテーブルに関する質問に答える) で構成されるスタースキーマ、製品 X が今四半期にどれだけ売れたかなど）。ファクトテーブルは多くのディメンションテーブルに関連付けられており、全体像は星のように見えます。

データウェアハウスのバスマトリックスは、事実データを生成するビジネスプロセスと、ディメンションを表すデータ主体ドメインの交差部分を示します。テクノロジーに依存せず、データウェアハウス/BI システムの長期データのコンテンツ要件を表すために使用され、組織が管理可能な開発作業の範囲を決定するのに役立ちます。

多次元データウェアハウスは Inmon のデータウェアハウスよりも拡張性が高く、データウェアハウスにはデータの一時保存領域とデータ表示領域のすべてのコンポーネントが含まれています。

Kimball のデータウェアハウスは、ビジネスソースシステム、データ一時保存領域、データ表示領域、データアクセスツールの 4 つの部分に分かれています。

1. ビジネスソースシステム。企業内の運用およびトランザクションアプリケーション。

2. データ一時保存領域。プレゼンテーション用にデータを統合および変換する必要があるプロセスを含めます。

3. データ表示領域。これは、エンタープライズ情報工場のデータマートに似ています。

4. データアクセスツール。エンドユーザーのデータニーズに焦点を当てます。

7. データウェアハウスアーキテクチャのコンポーネント

データウェアハウス環境は、企業のニーズを満たすように編成された一連のアーキテクチャコンポーネントで構成されます。

1. ソースシステム

データウェアハウスやビジネスインテリジェンスに流入するビジネスシステムと外部データが含まれます。

2. データ統合

データ統合には、抽出、変換、ロードが含まれます。

3. データ保存領域

データ記憶領域には次のものが含まれます。1) 一時記憶領域。元のデータソースと集中データリポジトリの間の中間データストレージ領域。2) 参照データとマスターデータの整合性次元。3) 中央データウェアハウス。データ構造の設計要素には以下が含まれます。 ① パフォーマンスの考慮事項に基づいて設計されたビジネス主キーと代理主キーの関係。② ディメンションテーブルをサポートするためのインデックスと外部キーを作成します。③履歴記録を検出、維持、保存するための変更データキャプチャ (CDC) テクノロジー。4) 運用データストレージ ODS。運用データストアには、完全な履歴ではなく一定期間のデータが含まれるため、データウェアハウスよりも頻繁に更新できます。5) データマート。特定のサブジェクト領域、単一の部門、または単一のビジネスプロセスをターゲットにします。6) データキューブキューブ。

8. データの読み込み方法

1. 過去のデータ

履歴データの処理: 1. Inmon タイプのデータウェアハウスは、すべてのデータを単一のデータウェアハウスレイヤーに保存することを提案します。クリーンアップ、正規化、管理された原子レベルのデータがこの層に保存されます。2. Kimball タイプのデータウェアハウスは、クレンジング、標準化、管理されたデータを含む部門別データマートをデータウェアハウスに統合することを提案しています。データマートは履歴レコードをアトミックレベルで保存し、一貫したディメンションテーブルと一貫したファクトテーブルがエンタープライズレベルの情報を提供します。3. Data Vault は、データの一時保管プロセスの一部として、データのクリーニングと標準化も実行します。履歴データは標準化されたアトミック構造に格納され、各次元で代理キー (代理キー)、主キー (主キー)、および代替キー (代替キー) が定義されます。

2. 変更データの一括取得

変更データの一括キャプチャ。データウェアハウスは、毎晩バッチウィンドウを介してデータを読み込むサービスです。ソースシステムが異なれば、必要な変更キャプチャ手法も異なる場合があるため、ロードプロセスにはさまざまな変更検出が含まれる場合があります。

さまざまな変更データキャプチャ手法の違い。

準リアルタイムおよびリアルタイムのデータ読み込み: 1) トリクル読み込み (ソースでの蓄積)。夜間のウィンドウでのバッチ読み込みとは異なり、より頻繁な頻度またはしきい値で一括読み込みを行います。２）メッセージ転送（バス蓄積）。小さなデータグラムがメッセージバスに送信され、ターゲットシステムがバスをサブスクライブします。３）ストリーミング（宛先蓄積）。ターゲットシステムは、バッファまたはキューを使用してデータを収集し、それを順次処理します。

理解しやすいように、この部分のマインドマップを次のように整理します。

3. 活動内容

【活動1】ニーズを理解する。

まずはビジネス目標とビジネス戦略を検討し、ビジネスドメインを特定し、範囲を設定します。次に、関連するビジネス担当者を特定してインタビューし、彼らが何をしたいのか、なぜそれを行うのかを理解し、彼らの懸念事項と情報を分類する方法を記録します。

ビジョンの策定 + ビジネス戦略の調整 + 貴重なニーズ

【アクティビティ 2】データウェアハウス/ビジネスインテリジェンスのアーキテクチャを定義して維持します。

1. データウェアハウス/ビジネスインテリジェンスの技術アーキテクチャを決定します。アトミックなデータ処理方式で、トランザクションレベルおよび運用レベルのレポート要件をサポートできる必要があります。優れたプロトタイピングは、主要な要件の実現を迅速に証明または反駁できるため、特定のテクノロジーやアーキテクチャへの過剰な投資を回避できます。

2. データウェアハウス/BI管理プロセスを特定します。ビジネスチームへの定期的なリリースとメンテナンスプロセスを調整および統合することによる生産管理。効果的なリリースプロセスを確立し、これがインストールされた製品に対する事後的な問題解決アプローチではなく、データ製品を中心としたプロアクティブなプロセスであることを経営陣が理解できるようにします。

【活動3】データウェアハウスとデータマートを開発します。

データウェアハウス/ビジネスインテリジェンス構築プロジェクトには、次の 3 つの同時構築軌跡があります。

1)データ。ビジネス分析をサポートするために必要なデータ。最適なソースを特定し、ルールを設計し、予期しないデータを処理します。

2)テクノロジー。データのストレージと移行をサポートするバックエンドシステムとプロセス。

3)ビジネスインテリジェンスツール。

内容: 1. ソースをターゲットにマップします。それぞれのソースシステムの親族関係。マッピング作業で最も難しいのは、複数のシステム内のデータ要素間のリンクの有効性または等価性を判断することです。2. データを修正および変換します。ターゲットシステムの複雑さを軽減するには、ソースシステムがデータ修復を担当し、データが正しいことを確認する必要があります。

[アクティビティ 4] データウェアハウスをロードします。

最も作業量の多い部分は、データの準備と前処理です。

データの読み込み方法を決定する際に考慮すべき重要な要素は、データウェアハウスとデータマートに必要なレイテンシ要件、ソースの可用性、バッチウィンドウまたはアップロード間隔、ターゲットデータベース、および時間フレームの一貫性であり、データ品質処理にも対処する必要があります。変換、遅延到着ディメンション、およびデータ拒否の問題を実行するため。もう 1 つの要素は、ソースシステム内のデータ変更を検出し、それらの変更を統合し、時間の経過とともに変更を調整する変更データキャプチャプロセスを中心に展開します。

【アクティビティ 5】ビジネスインテリジェンス製品ポートフォリオを実装します。

1. 必要に応じてユーザーをグループ化します。2. ツールをユーザーの要件に合わせます。

[アクティビティ 6] データ製品を保守します。

1. リリース管理。リリース管理は、増分開発プロセスにとって重要です。

2.データ製品開発ライフサイクルを管理します。

3. 読み込みプロセスを監視し、調整します。データウェアハウスもアーカイブする必要があります。

理解しやすいように、この部分のマインドマップを次のように整理します。

4. ツール、方法、実装ガイドライン

道具

1. メタデータリポジトリ。

A. データ辞書と用語。データディクショナリは、データウェアハウスの使用をサポートするために必要なコンポーネントです。ディクショナリはビジネス用語でデータを説明し、データディクショナリの内容は論理データモデルから取得されます。

B. データとデータモデルの系統。

データの血縁関係を記録する目的:

1) データ問題の根本原因を調査します。

2) システム変更やデータ問題の影響分析を実施します。

3) データの出所に従ってデータの信頼性を判断します。

2. データ統合ツール。

データウェアハウスをロードするために使用されます。

ツールを選択するときは次のことも考慮してください。

1. プロセスの監査、制御、再起動、およびスケジュール設定。

2. 実行時にデータ要素を選択的に抽出し、監査のために下流システムに渡す機能。

3. どの操作を実行できるか、または実行できないかを制御し、失敗したプロセスまたは中止されたプロセスを再起動します。

3. BI ツールの種類。

1) 運用報告。

運用レポート: ビジネスユーザーは、トランザクションシステム、アプリケーション、またはデータウェアハウスから直接レポートを生成します。データ取得およびレポートツール (アドホッククエリツールとも呼ばれます) を使用すると、ユーザーは必要なレポートを作成したり、他のユーザーが使用できるレポートを作成したりできます。事業運営報告書の要件は、多くの場合、事業調査報告書の要件とは異なります。生産レポートはデータウェアハウスと BI の境界を越え、多くの場合、トランザクションシステムに直接クエリを実行し、請求書や銀行取引明細書などのアクションアイテムを作成します。従来のビジネスインテリジェンスツールは、表、円グラフ、折れ線グラフ、面グラフ、棒グラフ、ヒストグラム、ローソク足グラフなどの一部のデータ視覚化方法を適切に表示できます。

2) 業績管理BPM。ビジネス戦略の実行を最適化するように設計されています。パフォーマンスの測定と正のフィードバックループが重要な要素です。パフォーマンスの測定と正のフィードバックループが重要な要素です。

3) 記述的自助分析。フロントデスクに業務上の意思決定を指導する役割を提供します。

オンライン分析処理OLAP : 多次元分析クエリに対して高速なパフォーマンスを提供する方法。

一般的な操作はスライスです。細かく切ります。ドリルダウン/ドリルアップ。上に向かって曲がります。視点。

3 つの古典的な OLAP 実装方法は次のとおりです。リレーショナルオンライン分析処理ROLAP。多次元マトリックスのオンライン分析処理MOLAP。ハイブリッドオンライン分析処理HOLAP。

方法

方法:

1. 要件を推進するプロトタイプ。デマンドマイニングの方法を使用して、ニーズの優先順位を迅速に決定します。

2. セルフサービスのビジネスインテリジェンス。セルフサービスは BI の基本的な提供方法です。

3. クエリ可能な監査データ。すべてのプロセスは監査情報を保存し、きめ細かい追跡とレポートを可能にする必要があります。

実装ガイド

1. 準備状況評価、リスク評価

データウェアハウスは以下を実装する必要があります。

(1) データの機密性とセキュリティ上の制約を明確にする。

(2)ツールの選択

(3) リソースの安全性の確保

(4) ソースデータを評価および受信するための抽出プロセスを作成します。

2. バージョンのロードマップ

データウェアハウスは段階的に構築されます。

ウォーターフォール、反復、アジャイルなど、どのような実装方法を選択する場合でも、望ましい最終状態を考慮する必要があります。

ロードマップは貴重な計画ツールです。

3. 構成管理

構成管理はロードマップに沿って行われ、必要なバックグラウンドの調整とスクリプトが提供されます。

4. 組織および文化の変化

一貫したビジネスの焦点を維持することがプロジェクトの成功の鍵です。企業のバリューチェーンを知ることは、ビジネス環境を理解するための優れた方法です。

プロジェクトを実際のビジネスニーズに合わせて調整し、必要なビジネスサポートを評価することが、成功の鍵となります。

1) 事業への取り組み適切な管理サポートはありますか?

2) ビジネスの目的と範囲。正確なビジネスニーズ、ビジネス目標、作業範囲はありますか?

3) 経営資源。専門家はいますか？どの程度関与していますか?

4) ビジネスの準備。ビジネスパートナーシップは、これを長期的な増分納品プロジェクトにする準備ができていますか? 対象組織内の平均的な知識レベルまたはスキルギャップはどれくらいですか?

5) 一貫したビジョン。IT 戦略はビジネスビジョンをどの程度サポートしていますか?

理解しやすいように、この部分のマインドマップを次のように整理します。

5. データウェアハウスとビジネスインテリジェンスのガバナンス

1. お取引の受付

1) 概念的なデータモデル。グループのコア情報? 主要なビジネスコンセプトは? それらは互いにどのような関係にあるのでしょうか?

2) データ品質のフィードバックループ。問題のあるデータを特定して修正するにはどうすればよいですか? 問題がどのように発生するかをどのように理解すればよいでしょうか? 問題を解決する責任をどのように負うのか? データウェアハウスのデータ統合プロセスから発生する問題を修復するプロセスは何ですか?

3) エンドツーエンドのメタデータ。アーキテクチャは統合されたエンドツーエンドのメタデータフローをどのようにサポートしていますか? 文脈の意味が分かりますか？データ利用者は、「このレポートは何を意味するのか」や「この指標は何を意味するのか」といった基本的な質問にどのように答えているのでしょうか?

4) エンドツーエンドの検証可能なデータ系統。ビジネスユーザーがパブリックにアクセスするアイテムは、自動化された自己保守可能な方法でソースシステムまで追跡できますか? すべてのデータは文書化されていますか?

2. 顧客およびユーザーの満足度

3. サービスレベル契約

4. レポート戦略

解決するためのレポート戦略: 1) セキュリティアクセス。許可されたユーザーのみが機密データにアクセスできるようにします。2) ユーザーがデータを操作、報告、検査、または表示するためのアクセスメカニズムを説明します。3) ユーザーコミュニティの種類とそれを使用するための適切なツール。4) レポートの概要、詳細、例外、および頻度、タイミング、配布および保存形式の性質。5) グラフィック出力を通じて視覚化機能の可能性を解き放ちます。6) 適時性とパフォーマンスのトレードオフ。