エンタープライズ データ ウェアハウス構築の初期段階では、デジタル トランスフォーメーションの効果を確実にするために、十分なデータ リソースを提供する必要があり、基本的なデータの抽出、変換、ロードのプロセスに加えて、データの同期も重要な要素の 1 つです。リンク。データ同期は、データ ウェアハウスの ODS および ADS レイヤーの構築でよく使用され、さまざまなデータ ソースの同期を通じて、データの適時性と正確性が保証され、さまざまなビジネス部門やユーザーのニーズを満たすことができます。
以前は、企業がデータ同期を処理する場合、それを完了するために SQL コーディングの支援が必要になることがよくありましたが、ビジネスの発展に伴い企業内のデータ量が急速に増加し、従来のコーディング方法では徐々に欠点が明らかになりました。
▶ 正確に一致させることが不可能: 同期戦略用の SQL を記述してシーンとの正確な一致を実現することは困難です;
▶ 高い操作しきい値: SQL 前、SQL 後、およびその他のコード プロセスが含まれ、専門の技術開発者が必要です; ▶
開発に時間がかかりますサイクル: 複数のタスクがある場合、それらを個別に設定する必要があるため、時間がかかり非効率的です。
上記の課題に対応するため、Tempo Data Factory では、ビジネス ニーズやデータの特性に応じて重要なシナリオを抽出し、クリックするだけでさまざまな統合シナリオを迅速にマッチングする [シナリオベースのデータ同期] 機能を新たに開始しました。
この機能は、サイクル増分、1 回の全サイクル増分、およびサイクル全量の 3 つの同期戦略を含む一般的なデータ統合ビジネス シナリオを抽出し、データ統合タスクの構成を迅速に完了できます。
01. 定期的な増分
定期的な増分とは、通常、データ統合プロセス中にソース システムからターゲット システムに抽出される増分データの量を指します。データ統合は、さまざまなデータ ソースからのデータを統合ターゲット システムに統合して、データの統合管理と共有を実現するプロセスです。
T社を例に挙げると、社内データが大量にあるため、全データを読み込むたびに移行作業が完了するまでに時間がかかるため、T社では社内で新たなデータを読み込むインクリメンタル方式を採用しています。特定のスケジュール頻度に従ってサイクル データを追加し、データ ウェアハウスに移行します。
ソースから増分データを読み取った後、さまざまな戦略を使用してそれをターゲット ライブラリに書き込むことができます。さまざまなビジネス ニーズに応じて、Tempo Data Factory は次の 2 つの戦略を提供できます。
▶ 最初に削除してから追加: 現在のデータをクリーンアップし、増分データを挿入
▶ 更新: 同じ一意のキーで更新し、新しい挿入を追加
02. フル サイクル インクリメント
フル サイクル インクリメントとは、データ統合プロセスでのフル データ抽出後の次のサイクルでの増分データの量を指します。完全なデータ抽出とは、ソース システムのすべてのデータをターゲット システムに抽出して、ターゲット システムのデータがソース システムのデータと完全に一致していることを確認することを指します。
T 企業には一定量の過去の株式データがあり、毎日新しいデータが生成されます。データ ウェアハウスを構築するときは、全サイクル増分モードが採用されます。まず、すべての過去の株式データがターゲット エンドに抽出され、この場合、毎回増分のみが取得されます。
ソースからデータを読み取った後、さまざまな戦略を採用してそれをターゲット ライブラリに書き込むことができます。さまざまなビジネス ニーズに応じて、Tempo データ ファクトリ プラットフォームは次の 2 つの戦略を提供します。
▶ 最初に削除してから追加: 現在のデータをクリーンアップし、増分データを挿入
▶ 更新: 同じ一意のキーで更新し、追加して挿入
03. 定期全量
定期全量とは、一定期間内の全データソースのデータ抽出および統合の全量を指します。これは、各サイクルですべてのデータ ソースからすべてのデータが抽出され、統合およびマージされてデータの整合性と一貫性が確保されることを意味します。
企業 T には少量の履歴データのストックがあり、増分データの取得に役立つ日付と時刻のフィールドがデータにないため、データ抽出には完全な方法が使用されます。
ソースから増分データを読み取った後、さまざまな戦略を使用してそれをターゲット ライブラリに書き込むことができます。さまざまなビジネス ニーズに応じて、Tempo Data Factory は次の 3 つの戦略を提供します。
▶ 最初に削除してから追加: 現在のデータをクリーンアップし、増分データを挿入
▶ キャッシュ テーブル: 出力データをキャッシュし、ターゲット データを交換およびロード
▶ バックアップ テーブル: ターゲット テーブル データ、バックアップ用履歴データ
*キャッシュ テーブル: ターゲット側のデータが常に適用される場合 (BI かんばんによって参照される場合など)、ターゲット テーブルを空にすることはできません。新しいデータまたは変更されたデータを含む完全なデータをキャッシュし、キャッシュ テーブルの名前を変更する必要があります。ターゲットテーブルを置き換えます。
※バックアップテーブル：履歴データをバックアップする必要がある場合、まず対象となるデータをバージョンに応じて書き込み、再度書き込む際に期限切れのバージョンデータをクリーンアップします。
また、実際のデータ ウェアハウス構築プロセスでは、複数のシステムやテーブルの統合が発生しますが、統合効率を向上させるために、Tempo Data Factory では、複数のシステムやテーブルを迅速に移行できる「バッチ データ同期」タスク構成のサポートを追加しました。ソース側のテーブルをターゲット データ ソースに転送します。
機能ハイライト
▶ ビジネス シナリオのマッチングの向上
同期シナリオの洗練により、運用保守担当者、実装担当者、顧客の理解が促進され、ビジネス マッチングが向上します。
▶ 操作の敷居を下げる
SQL の記述方法をポイント アンド クリックの方法に変更することで、技術担当者が作業を開始する必要がなく、ビジネス担当者がデータ統合タスクの設定を迅速に完了できます。
▶ 大幅な効率向上
コーディング方式をポイントアンドクリック方式に変更することで、効率が60%向上し、設定時間の大幅な短縮が見込まれます。
▶ バッチ操作のサポート
タスクの設定をバッチで実行して、統合効率を向上させることができます。
デジタル変革のプロセスにおいては、データが核となります。データ分析をサポートする強力な基盤として、Tempo DF のすべての新機能は、より機敏で効率的かつインテリジェントなソリューションをユーザーに提供し、企業のデジタル変革をさらに支援することを目的としています。