データウェアハウスETLのデザインのアイデアとデザインのアイデア

オリジナル:https://www.cnblogs.com/MR-zhang-01/p/9180787.html

まず、データウェアハウスを構築するためのアイデア

2つの方法でデータウェアハウスの構築:まず、トップダウン、ボトムアップの一つがあります。

氏はビル・インモンは、データが集約されたデータウェアハウスのように、きれいにした後、独自の企業のデータセンターを確立すること、である「トップダウン」アプローチを、尊敬
、洗浄、ダーティデータを削除する基準、および均一化を提供するために、ビューの。それをサポートするために、アプリケーションのニーズから起動しませんが、全体からそのようなデータウェアハウス、作成する
ビジネス環境、これらの概念の分析、種類データの何が全体のコンセプトの完成に到達すべきであるが、(それが考慮にフルがかかりますデザイン)

氏ラルフ・キンボールは、彼が実際のアプリケーションの要件、データロードのニーズではなく、不要なデータに基づくべきであるデータウェアハウスを構築すると考えている、「ボトムアップ」のアプローチを称賛し
、データ・ウェアハウスにロードします。短い工期このように、顧客はすぐに結果を見ることができます。(顧客のためにそれを行うために必要なものを、必要とする)

エンタープライズデータウェアハウス:同じ目標を達成する必要があり、両方。実際には、データウェアハウスを構築する場合、一般的に必須ではないこれらの2つの方法を用いて組み合わせて使用されます。


二、ETL(抽出/変換/ロード)

ユーザは、データクリーニング、変換後、データソースから必要なデータを抽出し、最終的な事前定義された良好なデータ・ウェアハウス・モデルに従ってために、データは、データウェアハウスにロードされます。

ETL、データウェアハウスシステムは、ETL、データウェアハウス・プロジェクトで半分以上の時間を費やして、最も重要な概念の一つです。


1)ETLのスケジューリング対象

出典:データベース、データベースファイル、テキストファイル、プログラム生成(派生列)

システムの数:単一のシステム、複数のシステム(過度のシステムがインターフェイスを考慮することができる)

型データベース:データベースのアイソフォーム /データベースの様々な


2)ETLのスケジューリングパラメータ設計

スケジューリング優先度/スケジューリング順/割り込みフラグ/ロールバック看板/成功/予定開始時刻と終了時刻の象徴など


3)ETLのスケジューリングログ管理

ドキュメントは/ データベースには、記録

ジョブ名 /ジョブの実行開始を-終了時間/ジョブの実行結果/例外情報のキャプチャ/ジョブ番号などを


4)ETLスケジューリングデザインJOB

ロード/ SQLコール/ストアドプロシージャ/プログラム中のETLツールにテキストデータファイルWORKFOLW


5)ETLのスケジューリングポリシーの設計

データロードの総量:ユーザ情報タイプのデータの更新状況データ変更

増分データローディング:水バッチスケジューリング設計、データ抽出は、一般に、比較余暇時間で行われる午前中に、より多くの時間、及びデータ分析サイクルによれば、
また、毎日、毎月の取引に分割されたデータの量が多い業務システムに関連するので、バッチ抽出及び逆抽出プロセスのデータ系列を必要とします。

スケジュール同時設計:JOB同時関与、複雑な紛争の設計、例外処理設計、成功 /エラー出口戦略


第三に、ストレージ管理とモデルの設計

本当の鍵は、データの保存と管理するためのデータウェアハウスです。データ・ウェアハウスは、一般的にいくつかの問題に遭遇しています。

データ記憶および管理の1)大量

データベースの設計、設置、詳細設計データベース・アプリケーション・プログラムの設計要件に応じてデータ抽出の統合。


2)意思決定支援クエリのために最適化されました

パーティションテーブル、インデックス、クラスタ化インデックス、MQT、SQL最適化モード。


3)クエリ多次元分析をサポートしています

関連するレポート作成ソフトウェアがあり、クエリの方法を最適化します。

おすすめ

転載: www.cnblogs.com/weiyiming007/p/12356894.html