技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

运维攻城狮

作为最优(ku)秀(bi)的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间

微信图片_20181225101102.gif

对此,本萌我

不能视而不见,见而不救啊!


比如,ES集群里的数据越来越大,

日增500G日志数据,

日志数量太多怎么办?

来来来,掌声有请

1.jpg

帮你做一波扩容,让你走上人生巅峰!

2.jpg

3.jpg


01节点信息


目前集群中的节点信息如下:

4.jpg


新增数据节点规格:



5.jpg


新增master节点规格:

6.jpg


02扩容思路


1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。


03实践步骤


1、分离master节点

查看当前master节点:


7.jpg


查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!


8.png


关闭集群reroute:


9.png


分别修改集群中node001~node006的配置文件,滚动重启:


10.jpg


配置好新的master节点es010、es011、es012


11.png


节点状态:


12.jpg


查看个节点tag:


13.jpg


重启node005,将集群master转移到专属节点。


14.png


至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。


2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。


15.png


3、配置新数据节点


16.png


4、打开集群分配,并分批将数据迁移


17.jpg


完成以上四步就可以完成整个数据迁移了


18.png


“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch在

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!


猜你喜欢

转载自blog.51cto.com/13766600/2334938