kettle学习笔记(四)——kettle输入步骤

一、输入步骤概述

  输入步骤主要分为以下几类:

    • 生成记录/自定义常量
    • 获取系统信息
    • 表输入
    • 文本文件输入
    • XML 文件输入
    • Json输入
    • 其他输入步骤

二、生成记录和自定义常量

  

  1.生成记录

    

    由于生成记录每行都是一样的数据,所以便诞生了自定义常量数据来手工模拟数据

  2.自定义常量数据

  

  常用于构造一些测试数据

三、获取系统信息

  获得各类系统信息,常见的包括:
    • 转换开始时间。
    • 关键时间点信息
    • 最多十个命令行参数
    • 主机名/ip/进程号/虚拟机内存等
    • 上一个作业的完成情况参数

    

      // 固定是整个转换开始的时间

  

  更多系统信息细节,参考相关文档

四、表输入

  表输入是比较常见的输入方式,通过执行SELECT语句,从数据库拉取输入数据

  可以使用${}形式使用变量,如果使用?变量,要求前面步骤传过来的参数需要顺序一致

  示例表输入配置如下:

  

  

   配置变量输入:

  

   数据类型对应关系:

    

五、文本文件输入

  

 

  文本文件输入:
    处理有列分隔符(限定符、逃逸字符)的文本文件。
    功能选项丰富、有错误处理机制。
  CSV 文件输入:
    简化了文本文件输入
    通过 NIO、并行、延迟转换提高性能
   固定宽度:
    列固定宽度的文件,不用解析字符串,性能好。

   1.文本文件输入

猜你喜欢

转载自www.cnblogs.com/jiangbei/p/8989347.html