【dataX】阿里开源ETL工具——dataX简单上手
一、概述
1.是什么？
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
开源地址：https://github.com/alibaba/DataX
二、简介
1.设计架构
数据交换通过DataX进行中转，任何数据源只要和DataX连接上即可以和已实现的任意数据源同步
2.框架结构
核心组件：
Reader：数据采集模块，负责从源采集数据
Writer：数据写入模块，负责写入目标库
Framework：数据传输通道，负责处理数据缓冲等
以上只需要重写Reader与Writer插件，即可实现新数据源支持
支持主流数据源，详见：https://github.com/alibaba/DataX/blob/master/introduction.md
从一个JOB来理解datax的核心模块组件：
datax完成单个数据同步的作业，称为Job，job会负责数据清理、任务切分等工作；
任务启动后，Job会根据不同源的切分策略，切分成多个Task并发执行，Task就是执行作业的最小单元
切分完成后，根据Scheduler模块，将Task组合成TaskGroup，每个group负责一定的并发和分配Task
三、入门
1.安装
参考官方文档
提取为安装随笔：https://www.cnblogs.com/jiangbei/p/10901201.html
2.使用
核心就是编写配置文件（当前版本使用JSON）
【配置文件】：
先看一个示例：
JSON配置文件
整个配置文件是一个Job配置文件，以Job为起手根元素，Job下面两个子元素配置项：setting和content，
其中，setting描述任务本身的信息，content描述源（reader）和目的端（writer）的信息：
其中，content下又分为reader和writer两块，分别对应源端和目的端：
各reader与writer插件的文档直接点击对应的文件夹进入doc即可！
3.示例
编写一个Mysql到本地打印的Job：
根据Mysqlreader插件编写配置文件:
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "root",
"column": [
"id",
"age",
"name"
],
"connection": [
{
"table": [
"girl"
],
"jdbcUrl": [
"jdbc:mysql://192.168.19.129:3306/mysql"
]
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print":true
}
}
}
]
}
}
根据自检脚本（文件颜色浅绿色），可以知道需要是可执行文件，添加权限：
chmod +x mysqltest.json
使用运行命令，运行即可：（进入bin目录运行命令如下）
python datax.py ../job/mysqltest.json
有时是希望灵活一点的自定义的配置，则可参考如下json配置：
{
"job": {
"setting": {
"speed": {
"channel":1
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "root",
"connection": [
{
"querySql": [
"select db_id,on_line_flag from db_info where db_id < 10;"
],
"jdbcUrl": [
"jdbc:mysql://bad_ip:3306/database",
"jdbc:mysql://127.0.0.1:bad_port/database",
"jdbc:mysql://127.0.0.1:3306/database"
]
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"print": false,
"encoding": "UTF-8"
}
}
}
]
}
}
四、拓展
1.调度
任务很少，情景简单的情况下，使用Linux自带的corntab即可，当然，正常的时候推荐使用调度平台
这里推荐airflow（其他相关的azkaban、oozie等调度不展开）