解决logstash同步数据库内容到ES时,同步时间点用到了别的表的最新时间点

在使用logstash同步数据库内容到es时,我们有时候需要同步多张表,这个时候,我们会直接复制配置文件,然后做修改,在pipelines.yml文件里添加内容即可,然而会遇到一些问题,下面来举例。

如下两个配置文件:

sync1.conf sync2.conf
在这里插入图片描述 在这里插入图片描述

看上去没有任何问题,但是第二张表数据的时候,我们会发现用的最新同步时间点竟然是第一张表的,是怎么回事呢?

其实主要的问题是:第13行,都使用了同一个同步时间点文件了。

解决的办法:

每个配置文件配置不同名字的的同步时间点文件就可以了,例如上面的修改后变为:

sync1.conf sync2.conf
在这里插入图片描述 在这里插入图片描述

这是一个很常规的问题,记录下来,希望能帮助到有需要的或者初学logstash的童鞋。

发布了2709 篇原创文章 · 获赞 5164 · 访问量 55万+

猜你喜欢

转载自blog.csdn.net/qq_20042935/article/details/105246963