英語の Extract-Transform-Load の略語であるETLは、ソースから宛先にデータを抽出、変換、ロードするプロセスを記述するために使用されます。ETLという用語はデータ ウェアハウスでよく使用されますが、その対象はデータ ウェアハウスに限定されません。
ETL はデータ ウェアハウス構築の重要な部分であり、ユーザーはデータ クリーニング後にデータ ソースから必要なデータを抽出し、最終的に事前定義されたデータ ウェアハウス モデルに従ってデータをデータ ウェアハウスにロードします。
ETL 変換のプロセスでは、主に次の側面に反映されます。
- Null 値処理: フィールドの null 値をキャプチャし、それを他の意味のあるデータでロードまたは置換し、フィールドの null 値に応じて異なるターゲット ライブラリへの分割ロードを実現できます。
- 標準化されたデータ形式: フィールド形式の制約を定義でき、データ ソース内の時間、値、文字などのデータの読み込み形式をカスタマイズできます。
- データの分割: ビジネス ニーズに応じてフィールドを分割できます。たとえば、発信番号は 861082585313-8148 であり、市外局番と電話番号を分解できます。
- データの正確性の検証: ルックアップ関数と分割関数を使用してデータ検証を実行できます。たとえば、発信番号 861082585313-8148 の場合、市外局番と電話番号を分解した後、ルックアップを使用して、データ検証のために発信ゲートウェイまたはスイッチによって記録された発信エリアを返すことができます。
- データの置換: ビジネス上の要因により、無効なデータや欠落したデータを置換できます。
- ルックアップ: 欠落データの検索 ルックアップはサブクエリを実装し、フィールドの整合性を確保するために他の手段で取得した欠落フィールドを返します。
- ETL プロセスの主キーと外部キーの制約を確立します。依存関係のない不正なデータの場合、主キーの一意のレコードが確実に読み込まれるように、データを置き換えたり、間違ったデータ ファイルにエクスポートしたりすることができます。
ETL アーキテクチャの利点:
- ETL はデータベース システムの負荷を共有できます (別のハードウェア サーバーを使用)
- EL-T アーキテクチャと比較して、ETL はより複雑なデータ変換ロジックを実現できます
- ETL は別のハードウェア サーバーを使用します。。
- ETL は、基礎となるデータベースのデータ ストレージとは何の関係もありません。
エルト
ELT アーキテクチャでは、ELT はビジネス ルールを設計するためのグラフィカル インターフェイスを提供することのみを担当します。データの処理プロセス全体は、ターゲット データベースとソース データベースの間で流れます。ELT は、関連するデータベース システムを調整して、関連アプリケーションを実行します。データ処理プロセスは、ソース データベース側またはターゲット データ ウェアハウス側で実行できます (主にシステム アーキテクチャ設計とデータ属性に依存します)。ETL処理を効率化したい場合は、データベースをチューニングしたり、処理を実行するサーバーを変更したりすることで実現できます。一般に、データベース ベンダーはこの種のアーキテクチャを推進し、Oracle と Teradata は両方とも ELT アーキテクチャを推進します。
ELT アーキテクチャの利点:
- ELT は主にデータベース エンジンを使用してシステムの拡張性を実現します (特にデータ処理プロセスが夜間の場合、データベース エンジンのリソースを最大限に活用できます)
- ELT はすべてのデータをデータベースに常に保持し、データのロードとエクスポートを回避できるため、効率が確保され、システムの監視可能性が向上します。
- ELTは、データベース本来の機能を利用して、データの分散に応じた並列処理の最適化を行い、ディスクI/Oを最適化することができます。
- ELT のスケーラビリティは、データベース エンジンとそのハードウェア サーバーのスケーラビリティに依存します。
- 一般に、リレーショナル データベースのパフォーマンス チューニングを実行することで、ETL プロセスの効率を 3 ～ 4 倍向上させることは特に難しいことではありません。