使用 DataX 增量同步数据

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

如果想进一步了解 DataX ，请进一步查看 DataX 详细介绍 。

关于增量更新

DataX 支持多种数据库的读写， json 格式配置文件很容易编写， 同步性能很好， 通常可以达到每秒钟 1 万条记录或者更高， 可以说是相当优秀的产品， 但是缺乏对增量更新的内置支持。

其实增量更新非常简单， 只要从目标数据库读取一个最大值的记录， 可能是 DateTime 或者 RowVersion 类型， 然后根据这个最大值对源数据库要同步的表进行过滤， 然后再进行同步即可。

由于 DataX 支持多种数据库的读写， 一种相对简单并且可靠的思路就是：

1. 利用 DataX 的 DataReader 去目标数据库读取一个最大值；
2. 将这个最大值用 TextFileWriter 写入到一个 CSV 文件；
3. 用 Shell 脚本来读取 CSV 文件， 并动态修改全部同步的配置文件；
4. 执行修改后的配置文件， 进行增量同步。

接下来就用 shell 脚本来一步一步实现增量更新。

增量更新的 shell 实现

我的同步环境是从 SQLServer 同步到 PostgreSQL ， 部分配置如下：

1. {
2. "job": {
3. "content": [
4. {
5. "reader": {
6. "name": "sqlserverreader",
7. "parameter": {
8. "username": "...",
9. "password": "...",
10. "connection": [
11. {
12. "jdbcUrl": [
13. "jdbc:sqlserver://[source_server];database=[source_db]"
14. ],
15. "querySql": [
16. "SELECT DataTime, PointID, DataValue FROM dbo.Minutedata WHERE 1=1"
17. ]
18. }
19. ]
20. }
21. },
22. "writer": {
23. "name": "postgresqlwriter",
24. "parameter": {
25. "username": "...",
26. "password": "...",
27. "connection": [
28. {
29. "jdbcUrl": "jdbc:postgresql://[target_server]:5432/[target_db]",
30. "table": [
31. "public.minute_data"
32. ]
33. }
34. ],
35. "column": [
36. "data_time",
37. "point_id",
38. "data_value"
39. ],
40. "preSql": [
41. "TRUNCATE TABLE @table"
42. ]
43. }
44. }
45. }
46. ],
47. "setting": { }
48. }
49. }

更多的配置可以参考 SqlServerReader 插件文档以及 PostgresqlWriter 插件文档。

要实现增量更新， 首先要 PostgresqlReader 从目标数据库读取最大日期， 并用 TextFileWriter 写入到一个 csv 文件， 这一步我的配置如下所示：

1. {
2. "job": {
3. "content": [
4. {
5. "reader": {
6. "name": "postgresqlreader",
7. "parameter": {
8. "connection": [
9. {
10. "jdbcUrl": [
11. "jdbc:postgresql://[target_server]:5432/[target_db]"
12. ],
13. "querySql": [
14. "SELECT max(data_time) FROM public.minute_data"
15. ]
16. }
17. ],
18. "password": "...",
19. "username": "..."
20. }
21. },
22. "writer": {
23. "name": "txtfilewriter",
24. "parameter": {
25. "dateFormat": "yyyy-MM-dd HH:mm:ss",
26. "fileName": "minute_data_max_time_result",
27. "fileFormat": "csv",
28. "path": "/scripts/",
29. "writeMode": "truncate"
30. }
31. }
32. }
33. ],
34. "setting": { }
35. }
36. }

更多的配置可以看考 PostgresqlDataReader 插件文档以及 TextFileWriter 插件文档

有了这两个配置文件， 现在可以编写增量同步的 shell 文件， 内容如下：

1. #!/bin/bash
2. ### every exit != 0 fails the script
3. set -e
5. # 获取目标数据库最大数据时间，并写入一个 csv 文件
6. docker run --interactive --tty --rm --network compose --volume $(pwd):/scripts \
7. beginor/datax:3.0 \
8. /scripts/minute_data_max_time.json
9. if [ $? -ne 0 ]; then
10. echo "minute_data_sync.sh error, can not get max_time from target db!"
11. exit 1
12. fi
13. # 找到 DataX 写入的文本文件，并将内容读取到一个变量中
14. RESULT_FILE=`ls minute_data_max_time_result_*`
15. MAX_TIME=`cat $RESULT_FILE`
16. # 如果最大时间不为 null 的话， 修改全部同步的配置，进行增量更新；
17. if [ "$MAX_TIME" != "null" ]; then
18. # 设置增量更新过滤条件
19. WHERE="DataTime > '$MAX_TIME'"
20. sed "s/1=1/$WHERE/g" minute_data.json > minute_data_tmp.json
21. # 将第 45 行的 truncate 语句删除；
22. sed '45d' minute_data_tmp.json > minute_data_inc.json
23. # 增量更新
24. docker run --interactive --tty --rm --network compose --volume $(pwd):/scripts \
25. beginor/datax:3.0 \
26. /scripts/minute_data_inc.json
27. # 删除临时文件
28. rm ./minute_data_tmp.json ./minute_data_inc.json
29. else
30. # 全部更新
31. docker run --interactive --tty --rm --network compose --volume $(pwd):/scripts \
32. beginor/datax:3.0 \
33. /scripts/minute_data.json
34. fi

在上面的 shell 文件中， 使用我制作的 DataX docker 镜像， 使用命令 docker pull beginor/datax:3.0 即可获取该镜像， 当也可以修改这个 shell 脚本直接使用 datax 命令来执行。