数据迁移方案及优化

 1.迁移的流程

 

数据通过Ogg抽取Oracle增量数据到苏州flume集群

在flume集群对数据脱敏

同步数据到kafka集群

在滨江数据拉取数据到hbase集群

 

优化

（1）可扩展性

保证没有单点性能问题，每个流程都是可扩展的。苏州flume集群，滨江kafka集群，滨江flume集群都是可以横行扩展的

 

（2）性能

保证数据能够更快的迁移到苏州集群，原先集群处理能力为1K/S，性能优化后提升到15K/S

 

（3）可靠性

 

保证数据在传输过程中不可丢，并且无单点问题。