7.2.2、DataX__datax数据的集成,datax的安装,使用,任务的执行

1、datax安装

上传压缩包,解压,配置环境变量

2、datax的使用

(1)以插件reader和writer的形式存在,在gitee上搜索datax,alibaba版本的,
(2)文档下面由有datax详细介绍:https://github.com/alibaba/DataX/blob/master/introduction.md
(3)需要哪些数据库之间进行数据集成就直接点对应读写,会有对应的读写模板
在这里插入图片描述

(4)编写配置文件,替换原始模板的读写就可以了

3、datax模板stream2stream -->打印到控制台

编写配置文件,以json格式存在,之后的不同数据来源改读写配置就可以了

stream2stream.json

{
    
    
  "job": {
    
    
    "content": [
      {
    
    
        "reader": {
    
    	//读
          "name": "streamreader",
          "parameter": {
    
    
            "sliceRecordCount": 10,
            "column": [
              {
    
    
                "type": "long",
                "value": "10"
              },
              {
    
    
                "type": "string",
                "value": "hello,你好,世界-DataX"
              }
            ]
          }
        },
        "writer": {
    
    	//写
          "name": "streamwriter",
          "parameter": {
    
    
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
    
    
      "speed": {
    
    
        "channel": 5	//并发数
       }
    }
  }
}

4、执行同步任务

datax.py 脚本文件
datax.py stream2stream.json	//datax.py + 脚本文件

猜你喜欢

转载自blog.csdn.net/nerer/article/details/120915226