1、datax安装
上传压缩包,解压,配置环境变量
2、datax的使用
(1)以插件reader和writer的形式存在,在gitee上搜索datax,alibaba版本的,
(2)文档下面由有datax详细介绍:https://github.com/alibaba/DataX/blob/master/introduction.md
(3)需要哪些数据库之间进行数据集成就直接点对应读写,会有对应的读写模板
(4)编写配置文件,替换原始模板的读写就可以了
3、datax模板stream2stream -->打印到控制台
编写配置文件,以json格式存在,之后的不同数据来源改读写配置就可以了
stream2stream.json
{
"job": {
"content": [
{
"reader": {
//读
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
//写
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5 //并发数
}
}
}
}
4、执行同步任务
datax.py 脚本文件
datax.py stream2stream.json //datax.py + 脚本文件