ビッグデータ技術をやかん

ビッグデータ技術ケトル

 

第1章ケトルの概要

1.1ケトルとは何ですか

ケトルは、純粋なJavaで書かれた、オープンソースETLツールです、非常に効率的で安定したデータ抽出をインストールすることなくWindowsやLinux、UNIX、グリーン上で実行されます。

1.2ケトルコア知識点

1.2.1ケトル貯蔵プロジェクト

1)XMLに格納されます。

2))リポジトリ(データベースリポジトリとドキュメントリポジトリに格納されています

2つのデザインの1.2.2ケトル

説明:変換(コンバージョン):データ変換のための完全な基礎。

              ジョブ(操作):ワークフロー全体を完全に制御。

相違点:(1)ジョブ・ストリームの段階で、データストリームが変換されます。

動作はステップの後、前のステップが実行を終了しますまで待つ必要があり、各ステップは、(2)、(スレッドを開始する制御に対応する)すべてのコントロールすべてを開始するためにワンタイム変換と、その後、第1のデータストリームからのものであろう制御開始、記録、最後のレコードの制御フロー。

1.2.3ケトルは、からなります

1.スプーン(Spoon.bat / spoon.sh):私たちは、グラフィカルな方法で仕事を開発し、変換することを可能にするグラフィカルインターフェイスです。Windowsの.BATを選択し、Linuxは.SH選択

2.フライパン(Pan.bat / pan.sh):パンは、コマンドラインのトランスフォームを使用して起動することができます

3.キッチン(Ktitchen.bat / kitchen.sh):あなたはキッチンコール・ジョブを使用してコマンドラインを使用することができます

4.メニュー(Carte.bat / carte.sh):アラカルトは、専用の、リモートのETLサーバの確立のために、軽量のWebコンテナです。

1.3ケトル機能

 

第2章インストール展開するケトルと使用

2.1ケトルインストールアドレス

公式ウェブサイトのアドレス:

https://community.hitachivantara.com/s/article/data-integration-kettle

ダウンロード:

https://sourceforge.net/projects/pentaho/files/

2.2 Windowsインストールの下で

2.2.1概要

仕事の開発と変容をローカルで実行することができ、実際のビジネスの発展にローカル環境にやかんを実施している、あなたはまた、リモートマシンの実行中に接続することができます。

2.2.2インストール

1)JDKをインストールします

ダウンロード:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

契約書に同意した後、JDKの対応するバージョンをダウンロードします(Windows x64)の

ソフトウェアをダウンロードし、ダブルクリックしてインストール

(パスに注意してください)継続して次

次のインストールが完了するのを待ちます。

緑のソフトウェアへの任意のローカルパスに解凍しますので2)、ケトルをアーカイブケトルをダウンロード

3)、Spoon.batをダブルクリックし、使用できるグラフィカルインターフェイスツールを起動

 

STU2に同期IDによってデータが、STU2データが同じIDで更新されSTU1ケース

MySQLで2つのテーブルを作成します。

MySQLの>データベースやかんを作成します。

MySQLは>やかんを使用します。

mysqlの>テーブルSTU1(ID int型、名前のVARCHAR(20)、年齢int)を作成します。

MySQLの>表STU2(ID int型、名前VARCHAR(20))を作成します。

 

MySQLの> STU1値(1001 'zhangsan'、20)、(1002 'リシ'、18)、(1003 'wangwu'、23)​​に挿入します。

MySQLの> STU2値(1001「悟空」)に挿入します。

新しい変換でやかんで

新 - - ファイルの左上隅をクリックして入力テーブルを見つけ、入力する]をクリックし、コアオブジェクトのインタフェースへの移行途中にドラッグ

 

データベース接続に接続された二台の入力構成MySQLデータベース(フォルダlibに配置される音符のjarパッケージのMySQLコネクタ - のJava 5.1.34-bin.jarをケトル)

 

 

STU1 SELECT * FROM SQL文を入力します。

プレビューデータを見ることができますクリックしてください

中間ドラッグ、タップに出力/更新コンポーネントに挿入し、左マウスボタンテーブルシフトホールド+入力が挿入/更新コンポーネントに接続されているが見つかりました

 

 

挿入/更新をダブルクリックして、ターゲット表の閲覧、選択STU2をクリックしてください

 

 

3つのフィールドを取得するには、フィールドのためにクリック

STU2に関連付けられたIDをSTU1ので、そう、マッピングを編集2つの編集テーブルとの間のマッピングを他の二つのフィールドを削除してクリック

 

 図は、後に決定しました

更新処理は、nは、決定されたid属性を変更します

操作を保存し、データベースに結果を参照してください。

 

おすすめ

転載: www.cnblogs.com/2016-zck/p/11443751.html