Windows下dataX的安装配置和初步使用实例

1、安装配置
此方法也适用于linux下,前提条件:
事先安装python2.x,JDK1.8,Maven3.x [方便用源码编译,也可以直接使用二进制包]
其中wiki上有相关步骤quickstart
这里稍微解释下:
如果采用第一种方法,可以直接下载dataX.tar.gz文件,解压后即可运行
采用第二种源码编译的话,先下载zip文件,解压后,以管理员身份运行cmd,进入到解压后的文件目录,maven打包,跳过单元测试:

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

第一次编译可能会有点慢,可能会出现:
Failed to execute goal on project otsstreamreader: Could not resolve dependencies for project
网上查了下,原因在于:
目前datax源码没有将tablestore-streamclient版本由快照版升级成为发布版,可以升级为发布版1.0.0。或者将datax已经编译好的plugin/otsstreamreader插件中libs的快照版本的jar离线安装到自己的mvn本地仓库中。

具体可以用IDEA打开otsstreamreader项目,将快照改为1.0.0即可

重新编译即可完成。
完成截图

2、使用实例:
完成后目录下会有个target文件夹,进入目录下的bin中,里面有datax.py文件,可以在cmd中测试:

python E:\dataX\DataX-master\target\datax\datax\bin\datax.py E:\dataX\DataX-master\target\datax\datax\job\job.json

使用即执行一个python脚本,传入json配置文件
配置文件,可以查看模版样例,模版结果显示:
结果1
结果2
如果乱码,可以在cmd中输入:

CHCP 65001

模版也可以自己通过命令来查找:
比如要读写的数据源为streamreader、streamwriter
输入
json文件模板
可以copy下来直接修改

谢谢!

猜你喜欢

转载自blog.csdn.net/yulutian/article/details/80835123