ビッグデータ技術ケトル
第1章ケトルの概要
1.1ケトルとは何ですか
ケトルは、純粋なJavaで書かれた、オープンソースETLツールです、非常に効率的で安定したデータ抽出をインストールすることなくWindowsやLinux、UNIX、グリーン上で実行されます。
1.2ケトルコア知識点
1.2.1ケトル貯蔵プロジェクト
1)XMLに格納されます。
2))リポジトリ(データベースリポジトリとドキュメントリポジトリに格納されています
2つのデザインの1.2.2ケトル
説明:変換(コンバージョン):データ変換のための完全な基礎。
ジョブ(操作):ワークフロー全体を完全に制御。
相違点:(1)ジョブ・ストリームの段階で、データストリームが変換されます。
動作はステップの後、前のステップが実行を終了しますまで待つ必要があり、各ステップは、(2)、(スレッドを開始する制御に対応する)すべてのコントロールすべてを開始するためにワンタイム変換と、その後、第1のデータストリームからのものであろう制御開始、記録、最後のレコードの制御フロー。
1.2.3ケトルは、からなります
1.スプーン(Spoon.bat / spoon.sh):私たちは、グラフィカルな方法で仕事を開発し、変換することを可能にするグラフィカルインターフェイスです。Windowsの.BATを選択し、Linuxは.SH選択
2.フライパン(Pan.bat / pan.sh):パンは、コマンドラインのトランスフォームを使用して起動することができます
3.キッチン(Ktitchen.bat / kitchen.sh):あなたはキッチンコール・ジョブを使用してコマンドラインを使用することができます
4.メニュー(Carte.bat / carte.sh):アラカルトは、専用の、リモートのETLサーバの確立のために、軽量のWebコンテナです。
1.3ケトル機能
第2章インストール展開するケトルと使用
2.1ケトルインストールアドレス
公式ウェブサイトのアドレス:
https://community.hitachivantara.com/s/article/data-integration-kettle
ダウンロード:
https://sourceforge.net/projects/pentaho/files/
2.2 Windowsインストールの下で
2.2.1概要
仕事の開発と変容をローカルで実行することができ、実際のビジネスの発展にローカル環境にやかんを実施している、あなたはまた、リモートマシンの実行中に接続することができます。
2.2.2インストール
1)JDKをインストールします
ダウンロード:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
契約書に同意した後、JDKの対応するバージョンをダウンロードします(Windows x64)の
ソフトウェアをダウンロードし、ダブルクリックしてインストール
(パスに注意してください)継続して次
次のインストールが完了するのを待ちます。
緑のソフトウェアへの任意のローカルパスに解凍しますので2)、ケトルをアーカイブケトルをダウンロード
3)、Spoon.batをダブルクリックし、使用できるグラフィカルインターフェイスツールを起動
STU2に同期IDによってデータが、STU2データが同じIDで更新されSTU1ケース
MySQLで2つのテーブルを作成します。
MySQLの>データベースやかんを作成します。 MySQLは>やかんを使用します。 mysqlの>テーブルSTU1(ID int型、名前のVARCHAR(20)、年齢int)を作成します。 MySQLの>表STU2(ID int型、名前VARCHAR(20))を作成します。
MySQLの> STU1値(1001 'zhangsan'、20)、(1002 'リシ'、18)、(1003 'wangwu'、23)に挿入します。 MySQLの> STU2値(1001「悟空」)に挿入します。 |
新しい変換でやかんで
新 - - ファイルの左上隅をクリックして入力テーブルを見つけ、入力する]をクリックし、コアオブジェクトのインタフェースへの移行途中にドラッグ
データベース接続に接続された二台の入力構成MySQLデータベース(フォルダlibに配置される音符のjarパッケージのMySQLコネクタ - のJava 5.1.34-bin.jarをケトル)
STU1 SELECT * FROM SQL文を入力します。
プレビューデータを見ることができますクリックしてください
中間ドラッグ、タップに出力/更新コンポーネントに挿入し、左マウスボタンテーブルシフトホールド+入力が挿入/更新コンポーネントに接続されているが見つかりました
挿入/更新をダブルクリックして、ターゲット表の閲覧、選択STU2をクリックしてください
3つのフィールドを取得するには、フィールドのためにクリック
STU2に関連付けられたIDをSTU1ので、そう、マッピングを編集2つの編集テーブルとの間のマッピングを他の二つのフィールドを削除してクリック
図は、後に決定しました
更新処理は、nは、決定されたid属性を変更します
操作を保存し、データベースに結果を参照してください。