oracle数据库迁移到postgres的折腾之路

好脑筋比不过烂笔头,简单记录一下oracle数据向pg的导出过程:

需求背景:某系统,在用,oracle库,访问量太大有点扛不住了,想增加查询库,数据最好实时能导入到查询库里面去。

1.最好的办法

    要是经费够,直接查询库也别用pg了,再购买oracle,然后安装部署ogg,实现亚秒级数据同步,可惜经费不够,没法这么整。

2.次好的办法

   利用logminer分析oracle的redolog,细分的话好像有两种,一种是安装data guard,把redolog弄到生产库以外的机器上面进行分析,这样可以减少源库的分析压力,但是需要安装data guard软件,服务器又不归我们维护管理,这里面又涉及到买license的问题,未尝试。第二种是直接分析生产库的redolog,用开源的streamsets进行分析和数据导出,但是streamsets不支持blob,clob字段的数据导出。

3.笨办法

  写oracle java procedure,结合触发器,有了数据变化以后通过java程序发消息给消息队列,然后再写消息队列消费程序处理源库数据变化。

4.傻B一样的方法

 用kettle/streamsets等等各类etl工具轮询源oracle库,把整表或增量数据导到pg库里面。

最后走的方式是基于logminer原理,把oracle redo sql丢到kafka里面去,然后自己写sql parser解析redo sql后再组合目标库能执行的sql后执行处理,数据同步间隔小于1秒,效果良好。

发布了177 篇原创文章 · 获赞 21 · 访问量 50万+

猜你喜欢

转载自blog.csdn.net/peihexian/article/details/98029419