ELK集群架构优化

ELK集群架构优化

1.集群架构扩展

当日志采集的数据量达到了上百G,那么就需要引入kafka消息队列了,kafka处理消息数据比redis强大很多,并且支持集群模式。

当量级很大时,查询比较慢,这时就可以去扩展ES集群的节点数量,ES是分布式集群,可以轻松的完成节点扩缩容。

如果日志数据入库很慢,这时就需要去多增加几个logstash,同时去处理数据,加快数据入库。

image-20220107154204261

2.关于日志索引库的优化

根据应用程序规划好索引库,尽量避免将多个应用程序都写入到一个索引库中,影响查询速度,最好是一个应用程序一个日志索引库,这样做的好处就是可以随时随地的去清理不同应用程序的日志数据,另外,索引库的名称最好以天进行命名,可以通过脚本定期的清理日志数据,避免磁盘使用率过高。

不使用的索引库可以进行删除或者关闭。

关闭索引库的命令如下,都支持通配符的形式。

#关闭索引库
curl -XPOST "http://127.0.0.1:9200/索引名称-*/_close?pretty"

#开启索引库
curl -XPOST "http://127.0.0.1:9200/索引名称-*/_open?pretty"

删除索引库的命令如下,都支持通配符形式。

curl -XDELETE "http://127.0.0.1:9200/索引名称-*"

猜你喜欢

转载自blog.csdn.net/weixin_44953658/article/details/125864858