elasticsearch-cluster on kubernetes

1.elasticsearch集群基础

默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的:node.masternode.data

  • node.master:这个属性表示节点是否具有成为主节点的资格。
    注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。
  • node.data:这个属性表示节点是否存储数据。

这两个属性可以有四种组合:

  • 混合节点:node.master: truenode.data: true这种组合表示这个节点既有成为主节点的资格,又存储数据,还会处理客户端的请求。这个时候如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。elasticsearch默认每个节点都是这样的配置,在测试环境下这样做没问题。实际工作中建议不要这样设置,这样相当于主节点和数据节点的角色混合到一块了。
  • data节点:node.master: falsenode.data: true这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。这个节点我们称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
  • master节点:node.master: truenode.data: false这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。这个节点我们称为master节点。
  • client节点:node.master: falsenode.data: false这种组合表示这个节点既不会成为主节点,也不会存储数据,这个节点的意义是作为一个client(客户端)节点,主要是针对海量请求的时候可以进行负载均衡。

默认情况下这两个属性的值都是true,即每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。Elasticsearc的最佳实践推荐一个elasticsearch集群进行如下设置:

  1. 建议集群中设置3台以上的节点作为master【node.master: true node.data: false】节点(普通服务器即可,CPU、内存消耗一般),这些节点只负责成为主节点,维护整个集群的状态。
    master节点主要功能是维护元数据,管理集群各个节点的状态,数据的导入和查询都不会走master节点,所以master节点的压力相对较小,因此master节点的内存分配也可以相对少些;但是master节点是最重要的,如果master节点挂了或者发生脑裂了,你的元数据就会发生混乱,那样你集群里的全部数据可能会发生丢失,所以一定要保证master节点的稳定性。
  2. 再根据数据量设置一批data【node.master: false node.data: true】节点(主要消耗磁盘,内存),这些节点只负责存储数据,后期提供建立索引和查询索引的服务。
    data节点是负责数据的查询和导入的,它的压力会比较大,它需要分配多点的内存,选择服务器的时候最好选择配置较高的机器(大内存,双路CPU,SSD…);data node要是坏了,可能会丢失一小份数据。
  3. 如果用户请求比较频繁,data节点的压力也会比较大所以在集群中建议再设置一批client【node.master: false node.data: true】节点(普通服务器即可,如果要进行分组聚合操作的话,建议这个节点内存也分配多一点),这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。
    client节点是作为任务分发用的,它里面也会存元数据,但是它不会对元数据做任何修改。client node存在的好处是可以分担下data node的一部分压力;为什么client node能分担data node的一部分压力?因为es的查询是两层汇聚的结果,第一层是在data node上做查询结果汇聚,然后把结果发给client node,client node接收到data node发来的结果后再做第二次的汇聚,然后把最终的查询结果返回给用户;所以我们看到,client node帮忙把第二层的汇聚工作处理了,自然分担了data node的压力。

2.部署

这篇文章介绍在k8s上部署3个master实例、2个client实例和2个data实例的高可用elasticsearch集群环境。

2.1注意:

1.Elasticsearch pod需要用privileged模式运行init-container来设置一些参数,这需要kubelet的启动时加入如下参数:--allow-privileged,否则init-container会启动失败。
2.ES_JAVA_OPTS默认设置为-Xms256m -Xmx256m,可能会有些小,可以根据需要在yaml文件中进行修改。
3.cpu数量默认设置为1,可以根据需要修改resources.limits.cpu参数,但一定要是整数。

2.2yaml文件

请见:https://github.com/liukuan73/elasticsearch-on-k8s

3.参考

https://github.com/pires/kubernetes-elasticsearch-cluster
https://anchormen.nl/blog/big-data-services/elastic-search-deployment-kubernetes/
http://blog.51cto.com/qbfbi007/1837107
http://zhaoyanblog.com/archives/319.html

猜你喜欢

转载自blog.csdn.net/liukuan73/article/details/79723878
今日推荐