同步千万级表数据(思路) TODO 代码待demo

一 简介


A库的一张1000W数据的表 同步到B库  
终于搞好了   用的多数据源+线程池+mybatis二级缓存    

思路: 
  比方说  100W数据量  
  每次查1W   这样  insert into ... values ...  1W每次 很快 
  100W需要查100次  则跑100次线程  
  设置线程池最多同时跑15个线程
  15个线程  最多15W  加上线程开销  不会内存溢出
  
  mybatis二级缓存主要用来避免多次求表总数
  
  测试时间:  每条记录60+字段   100W跑了9分钟   1000W 大概一个半小时  等差的  
  
  如果用存储过程 40+分钟就好了。。。 也不存在内存溢出什么鬼。。。   
  只是存储过程有限制: 如果俩个库在同一台服务器可用,  否则不行。
  

二 思路

三 代码

TODO 待demo

猜你喜欢

转载自blog.csdn.net/qq_35206261/article/details/83030304