Pandora数据工厂之数据集成

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zxh19800626/article/details/84670157

3 数据集成概述

​ 数据集成系统提供的稳定高效、弹性伸缩的数据同步平台。致力于异构数据源之间数据高速稳定的数据移动及同步能力。

一、数据的同步流程图如下：

二、支持的数据源类型

• 文本数据

  • Text
  • CSV
  • Json

• 关系型数据库

  • MySQL
  • Oracle
  • SQL Server

• NoSQL

  • MongoDB

• 大数据存储

  • ElasticSearch
  • HDFS
  • Hive
  • HBase

• 流式数据

  • Kafka
  • Flume
  • CDC

三、数据同步方式

• 数据同步

• 实时数据
  通过扩展kafka connector实现，具体参看《kafka connector源码分析》
  ​

四、数据同步模式

数据同步模式如下图:

1. 模式的场景说明

• 一对一模式
  • 数据库表迁移
  • 异构数据同步
• 多对一模式
  • 数据表汇聚
  • 分区(分库)表数据汇聚
  • 日志数据汇聚
• 一对多模式
  • 数据分发
• 多对多模式
  • 数据汇聚后进行分发
  • 数据库迁移
• 复合模式
  • 复杂的数据汇聚分发场景

2. 数据同步Channel的类型

• Kafka
• Memory
• Ring Buffer环形缓存区(计划)

3. 技术路线

• 基于datax3.0源码改造，参看《datax源码分析》

---

原创诗词一首

西游记•女儿国
圣僧何苦虑多情，佛法有缘自修行。
世间若无双全法，宁负如来不负卿。