ケトルビッグデータ技術(2) - 演習3つの基本的な操作

一方、同一のデータベースの更新に関連付けられたデータの2つのテーブル

  :の効果を達成するために STU1のことで、データをID に同期STU2 STU2 同じIDの更新データ

  ステップ:

  1. では MySQLは2つのテーブルを作成します。

    MySQLの>データベースやかんを作成します。

 

    MySQLは>やかんを使用します。

 

    mysqlの>テーブルSTU1(ID int型、名前のVARCHAR(20)、年齢int)を作成します。

 

    MySQLの>表STU2(ID int型、名前VARCHAR(20))を作成します。

 

  2.二つのテーブルにいくつかのデータを挿入します。

    MySQLの> STU1値(1001 'zhangsan'、20)、(1002 'リシ'、18)、(1003 'wangwu'、23)​​に挿入します。

    MySQLの> STU2値(1001「悟空」)に挿入します。

  3. ではケトル新しい変換、ファイルの左上隅をクリックしてください-新規作成-入力テーブルを見つけ、入力する]をクリックし、コアオブジェクトのインタフェースへの移行は、中央にドラッグ

    

 

    

   4. 接続に配置されたダブル入力テーブル、データベースのMySQL データベース接続(ノートのjar パッケージのmysql-コネクタのjava-5.1.34- bin.jarをを置くことケトルLIB フォルダ)

 

    

 

 

    テストに関する情報のクリックを入力した後、表示が正しく接続されています。

 

    

    5.sql 文の入力選択* STU1から。

 

    

    プレビューデータを見ることができますクリックしてください

 

 

    

 

 

 

 

    6. 出力の挿入見つける / テーブル入力タップ、中間ドラッグに更新コンポーネントをホールドシフト+ インサートに接続されたマウスボタンを/ 更新コンポーネント

 

     

 

 

     

    ダブルクリックして挿入 / ターゲット表の閲覧を、更新をクリックし、選択しSTU2

    

 

    取得するフィールドのクリック 3つのフィールドを

 

 

     

 

    以来 STU1 STU2 によってID に関連するので、名前と年齢フィールドを削除し、[編集]マップ編集]をクリックし2 台の間のマッピングを

    

 

 

 

 

     図は、後に決定しました:

       

    更新处,修改id的属性为n,确定。然后保存运行,到数据库中查看结果。

 

 

    

 

 

 

 

     最后生成了一个文件,如下:

    

 

 

 

 

 

 

 

 

二、使用作业执行生成的转换文件

    实现效果:使用作业执行“一”中的转换,并且额外在表stu2中添加一条数据

    步骤:

    新建一个作业

    

 

   点击通用将start拖拽到作业中

    

 

 

     将转换拖拽过来,将start与转换相连接

 

     

 

    

    双击转换,选择之前做好的job

    

    左侧脚本中选择sql组件拖拽过来并连接

     

 

 

 

    新建连接配置mysql数据库,并写插入sql语句

       

    确定,保存job并执行

 

 

 

三、将A数据库中的a表经过ETL过程导入B数据库中

  sql语句地址:https://pan.baidu.com/s/1Eba9TEO3UO9Fjaz522VONw

  实现效果:hr数据库中的employees表,经过ETL过程,导入到scott数据库中;将列FIRST_NAMELAST_NAME相连,中间用空格隔开,取名为“NAME”;将列PHONE_NUMBER中的区号加上括号(例如515.123.4567改为(515)123.4567),列名不变;在scott数据库中,该表的列名不变,表名改为dw_dim_employees

  实现步骤:

  1.双击桌面的 图标进入到kettleTransformation界面,双击转换切换到操作界面

   在核心对象目录树下找到输入,点击前面的展开三角,找到表输入组件拖入到右侧工作区

      同样的在输出中,找到表输出拖入到右侧工作区;在转换中找到字段选择拖入到右侧工作区。

 

  2.将这3个组件连接起来,先选中表输入,Shift+鼠标左键拖拽到字段选择上,再选中字段选择同样的Shift+鼠标左键拖拽到表输出上并选定为主输出步骤。

 

 

  3.双击表输入,数据库连接处点击新建,连接名称填写hr,连接类型选择mysql。。。与“上边一中的操作一致”

 

  4.点击下面测试,弹出正确连接数据库hr,点击确定保存设置

 

 

 

在表输入的SQL框中输入如下SQL语句

 

SELECT EMPLOYEE_ID, CONCAT(FIRST_NAME, ' ', LAST_NAME) AS NAME
    , EMAIL
    , CONCAT('(', SUBSTR(PHONE_NUMBER, 1, 3), ')', SUBSTR(PHONE_NUMBER, 5)) AS PHONE_NUMBER
    , HIRE_DATE, JOB_ID, SALARY, COMMISSION_PCT, NAGER_ID
    , DEPARTMENT_ID
FROM employees

 

 

  点击预览数据,确认无误后点击确定关闭

 

  5.双击字段选择,点击获取选择的字段,得到10个字段后点击确定关闭

 

     双击表输出,依然在数据库连接处点击新建

 

     在数据库连接界面填入如下信息:回到表输出界面,在目标表中填写表名:dw_dim_employees,勾选指定数据库字段,点击下面数据库字段点击获取字段。

 

     点击右下角SQL按钮,点击启动

 

          弹出保存提示,选择是,找到一个文件路径(如桌面/项目脚本),为job起个名字

 

     运行成功

 

おすすめ

転載: www.cnblogs.com/ssyh/p/11443714.html