1. ETL の概要
ETL プロセスはデータ ウェアハウス構築の中核部分であり、さまざまなデータ ソースからデータを抽出し、データをクリーニング、変換、統合し、最後に分析と意思決定のためにデータ ウェアハウスにロードすることが含まれます。データ ウェアハウスのローカライゼーションにおいて ETL プロセスは重要な役割を果たしますが、今回は ETL プロセスの概念と設計方法について説明します。
1.データ抽出（Extract ）
データ抽出は ETL プロセスの最初のステップであり、さまざまなデータ ソースからデータを抽出し、後続の処理の準備としてソース システムからデータを抽出することが含まれます。データ ソースにはさまざまな種類があり、リレーショナル データベース、ファイル (CSV、Excel、JSON など)、API、ログ ファイルなど、構造化データ、半構造化データ、非構造化データに分類されます。データ抽出は、さまざまなデータ ソース構造の下で次の方法に分けることができます。
- 構造化データ: SQL クエリまたは API 呼び出しを使用して、リレーショナル データベース、テーブル、CSV ファイルなどの構造化データ ソースからデータ レコードを抽出します。増分抽出または CDC テクノロジを使用して、変更されたデータまたは新しいデータのみを抽出します。これにより、効率とリアルタイム パフォーマンスが向上します。
(2 ) 非構造化または半構造化データ:適切な解析技術を使用してテキスト ファイル、ログ、画像、音声、ビデオなどの非構造化データ ソースから貴重な情報を抽出し、テキスト マイニング、画像処理、音声認識などの技術を使用して非構造化データを変換します。構造化または半構造化された形式に変換します。
データ抽出方法に関しては、一般的に次の方法が使用できます。
(1 ) 完全抽出:ソースシステム内のすべてのデータを一度に抽出します。初期データロードなど、データ量が少なく変更が少ない状況に適しています。
(2 ) 増分抽出:ソース システムで変更されたデータのみが抽出されます。タイムスタンプまたは増分タグは通常、新しいデータまたは変更されたデータを識別するために使用され、データの更新に使用されます。
(3 ) 増分抽出 +ログ追跡 (変更データ キャプチャ、CDC ):データベース内のログ追跡テクノロジを使用してデータベース内の変更をリアルタイムで監視し、変更されたデータを抽出してデータのリアルタイム性を確保します。
2.データ変換（Transform ）
データ変換は ETL プロセスの中核部分であり、抽出されたデータをターゲットのストレージと分析のニーズに適合させるためにクリーニング、統合、変換することが含まれます。異なる構造のデータ変換方法も異なります。
(1 ) 構造化データ:変換方法には主に、データのクリーニング、重複値の削除、欠落データの処理、データの一貫性と正確性の確保、および異なるソースからのデータを統合するためのリレーショナル データの接続、マージ、フィルタリングなどの操作の実行が含まれます。
(2 )非構造化データ:変換方法には主に、単語分割、エンティティ認識、センチメント分析などのテキスト データの自然言語処理が含まれ、テキスト コンテンツの重要な情報を抽出し、非構造化データを適切な構造化データに変換します。テキストを表形式に変換するなど、保存および分析のための形式。
データ変換には次の主な手順が含まれます。
(1 ) データクリーニング:データクリーニングとは、データの異常、欠落、またはエラーに対処し、データの正確性と一貫性を確保することです。これには、重複値の削除、欠落値の入力、書式設定の問題の修正などが含まれる場合があります。
(2 ) データ統合:データが複数のソース システムから取得されている場合、より包括的なビューを取得するために、異なるソースからのデータをマージし、重複を排除するためにデータ統合が必要になる場合があります。
(3 ) データ変換と計算:このステップでは、データに数学的計算、論理演算、日付処理、およびその他の操作を実行して、新しい派生データまたは指標を生成できます。たとえば、売上の計算、成長率の計算などです。
(4 ) データのフォーマット:データをターゲットのストレージ形式に変換するには、データ構造の再編成、データ型の調整などが含まれる場合があります。
(5 ) データの標準化:データ値の表現を統一して、データの一貫性と比較可能性を確保します。たとえば、地域名を標準の地域コードに変換します。
3.データロード（Load ）
データの読み込みは ETL プロセスの最後のステップであり、抽出および変換されたデータをターゲット ストレージ (通常はデータ ウェアハウスまたはデータ レイク) に読み込みます。データのロードは次の方法に分類できます。
(1 ) フルロード:処理されたすべてのデータをターゲットストレージに一度にロードします。初期ロードまたはデータ量が少ない場合に適しています。
(2 ) 増分ロード:データのリアルタイム性と効率性を確保するために、抽出と変換後に変更されたデータのみをロードします。
(3 ) トランザクション ロード:データベースのトランザクション メカニズムを使用して、データ ロードの整合性を確保します。つまり、すべてのロードが成功するか、ロード前の状態にロールバックされます。
(4 ) バッチ ロードとストリーミング ロード:バッチ ロードは大規模なデータ処理に適しており、ストリーミング ロードはリアルタイム データ分析が必要なシナリオに適しています。
構造化データを処理するか非構造化データを処理するかに関係なく、ETL プロセスの中心的な目標は、生のデータを、分析、レポート、意思決定に使用できる貴重なデータに変換することです。データの品質と可用性を確保するには、データの種類が異なると、その特性に基づいて異なる抽出、変換、ロード操作が必要になります。
2. 無料ETLツールのおすすめ
さまざまなデータ ソースに応じて、データ ウェアハウス ETL ツールは構造化データ ETL ツールと非構造化/半構造化データ ETL ツールに分けることができます。次に、試用後に推奨する価値のある無料の ETL ツールをいくつか紹介します。
1.ケトル
Kettle は、広く使用されている無料の海外オープン ソース ETL ツールです。現在、市場で最も強力なオープン ソース ETL ツールです。Kettle は、データの抽出、変換、ロードに使用して、迅速なデータ ウェアハウスと分析を実現できます。Kettle の長所と短所について簡単に説明します。
アドバンテージ：
( 1 )直感的なグラフィカル・ユーザー・インターフェースを提供し、変換ステップをドラッグ＆ドロップして接続するだけでデータ統合プロセスを構築できます。視覚的な開発手法により、技術者以外でも簡単に開始でき、開発効率が向上します。
( 2 ) Kettle は、データのクリーンアップ、フィルタリング、変換、マージを可能にする豊富な変換ステップと機能を提供し、文字列操作、日付処理、集計計算、条件判断などのさまざまなデータ処理技術をサポートしています。複雑なデータ変換のニーズ。
欠点:
- ケトルは使い方が難しく、初心者にとってはその概念や操作方法を理解するのに時間がかかるかもしれません。特に複雑なデータ変換ロジックを扱う場合は、データ処理とプログラミングに関する一定の知識が必要です。
- ドキュメントのサポートが限られている 他のいくつかの国内ETLツールと比較して、Kettleには多くの国内ユーザーがいますが、中国語のドキュメントと技術サポートは比較的限られています。これにより、問題に遭遇したときに、より多くの自習と研究が可能になります。
(3) CDC のリアルタイム データ収集機能はサポートされておらず、リアルタイム データ送信を実現するには、タスクのスケジューリング頻度を 1 分などに加速することしかできません。データ量が比較的大きい場合、問題が発生する可能性があります。生産システムに大きなプレッシャーがかかります。
インターフェース図を使用します。
（Kettleはオープンソースソフトウェアなので公式サイトから直接ダウンロードできます）
2.エアバイト：
airbyteは、アプリケーション、API 、データベースからデータ ウェアハウス、データ レイク、その他の宛先にデータを同期する最新のオープン ソース データ統合ソフトウェアで、 200 個のソースタイプ コネクタと100 個の宛先タイプ コネクタをサポートしています。
(AirByteのリンカーインターフェース)
(データ同期監視インターフェース)
- ETLクラウド
リアルタイムのデータ同期、オフラインデータ処理、包括的なプロセス監視を実現できる国産のデータ統合プラットフォームであり、他の海外ETLツールと比較して使いやすく、コミュニティ版と商用有料版に分かれています。コミュニティ版は無料でご利用いただけます。その利点と欠点について簡単に説明しましょう。
利点:
( 1 ) 強力なデータ サポート機能: データベース、上位層の汎用プロトコル、メッセージ キュー、ファイル、プラットフォーム システム、アプリケーション、その他の種類のデータ ソースに接続して、企業にデータ統合および分析ソリューションの完全なセットを提供できます。 。
( 2 ) CDCリアルタイム データ収集機能、高い同期効率、およびデータ同期プロセス中の詳細な監視レポートをサポートします。
( 3 ) 直感的なWEBビジュアル構成インターフェイスと統合された運用保守プラットフォームを提供する、ローカライズされた自社開発のデータ統合製品です。
( 4 ) コミュニティ無料バージョンには、SASSアプリケーションに迅速に接続するための大規模なユーザー グループ、包括的な技術ドキュメント、および豊富なコンポーネント マーケットがあります。
欠点:
- コミュニティ無料版は一部の機能をサポートしていないため、使用するにはエンタープライズ版が必要です。
インターフェース図を使用します。
プロセス設計：
(プロセス設計インターフェース)
(タスク監視実行インターフェース)
4.データX
DataXは、Alibaba がオープンソース化した異種データ ソース用のオフライン同期ツールです。ビッグデータを提供するETLツール（実際にはELTツールとみなすことができます）として、データスナップショットの再配置機能を提供するだけでなく、豊富なデータ変換機能も提供し、安定的かつ効率的なデータ同期機能を提供できます。そのメリットとデメリットについて。
アドバンテージ：
( 1 )複数のデータ ソースとデータ ターゲットをサポートし、アクセスが簡単です。
( 2 )高速データ転送をサポートし、大規模なデータ処理シナリオに適しています。
( 3 )高度なカスタマイズ性により、ユーザー定義開発をサポートします。
欠点:
- DataXただし、 DataX はスクリプトの形式でタスクを実行するため、呼び出す前にソース コードを完全に理解する必要があり、学習コストが高くなります。
- ユーザーフレンドリーなインターフェイスがなく、設定用のスクリプトを作成する必要があり、視覚的な監視とデータ追跡機能が不十分です。運用と保守のコストが比較的高くなります。
インターフェース図を使用します。
3. まとめ
この記事では、 ETLとは何かを紹介し、ビッグ データ処理におけるETLの役割と重要性を分析し、ETLのアプリケーション シナリオと適用可能性を共有します。なお、上記のETLツールの長所・短所はあくまで参考であり、具体的な評価は実際のニーズや用途に応じて総合的に検討する必要があります。ETLツールを選択するときは、自社のビジネス ニーズに基づいて総合的な評価と比較を行って、最適なツールを選択することをお勧めします。