ES集群的基本概念
Cluster
代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的
Shards主分片
代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改,这里和索引分片的算法有关,因为是通过取模算法去判断分到哪,如果改变了 就无法正常查询之前的索引。
replicas分片副本
代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
Recovery
代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
ES为什么要实现集群
ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。同时提高容错性和高可用性
ES集群核心原理分析
分片存储规则
1、每个索引会被分成多个分片shards进行存储，默认创建索引是分配5个分片进行存储(需要注意的是es7.0默认索引分片数调整为1了
)。每个分片都会分布式部署在多个不同的节点上进行部署，该分片成为primary shards.
注意：索引的主分片primary shards定义好后，后面不能做修改。
2、为了实现高可用数据的高可用，主分片可以有对应的备分片replics shards，replic shards分片承载了负责容错、以及请求的负载均衡.
注意: 每一个主分片为了实现高可用，都会有自己对应的备分片,他们之间的关系可以是一对多,主分片对应的备分片不能存放同一台服务器上（单台ES没有备用分片的）。主分片primary shards可以和其他replics shards存放在同一个node节点上。
在往主分片服务器存放数据时候，会对应实时同步到备用分片服务器,但是查询时候，所有（主、备）都进行查询：
Node1 ：P1+P2+R3组成了完整的数据
实例演示:
下面是一个已经搭建好的集群.版本为ES7.6.0
创建一个索引
PUT /testindex
查询该索引
GET /testindex
7以下的版本这里会是5和1 这里是7.6.0版本所以是1 1
number_of_shards 相当于主分片数量 代表将索引分成几个分片 5就代表索引会分成5个分片
number_of_replicas 这里相当于是副分片的总数,和上面不同的是这里的1代表所有的副分片组成一份副本的意思.比如有5个主分片,
这里就是5个副分片组成1分总副分片,如果这里是2 代表会有10个副分片组成2份总的副分片.
修改分片数
分片数一般通过修改elasticsearch.yml文件中配置默认值
这里我们修改副分片数量为2
PUT testindex/_settings
{
"index" : {
"number_of_replicas" : 2
}
}然后查询索引分片信息
GET /testindex/_search_shards
可以看到上图 testindex索引主分片有1个 副分片变为2个 (这里只是针对testindex来说,如果建立其他的索引分片初始还是会变成默认值)
我们接下来尝试修改主分片数量
PUT testindex/_settings
{
"index" : {
"number_of_shards" : 3
}
}报错,证明索引创建后无法修改分片数
创建索引时指定分片数量
要修改分片数只能在索引创建的时候进行修改
PUT test
{
"settings" : {
"index" : {
"number_of_shards" : 3,
"number_of_replicas" : 2
}
}
}GET /test/_settings 创建并修改成功
执行 GET /test/_search_shards
可以发现 shards信息中一共有3个主索引 6个副索引
这里我简化了shards节点数据 画图表示
抽象成下图
每个节点上都有一份完整的数据 即使其他两个节点宕机也不会影响查询
数据路由
当客户端发起创建document的时候，es需要确定这个document放在该index哪个shard上。这个过程就是数据路由。
路由算法：shard = hash(routing) % number_of_primary_shards
这里的routing指的就是document的id
如果number_of_primary_shards在查询的时候取余发生的变化，无法获取到该数据
已知主分片数量为3，
路由算法: shard = hash(routing) % 主分片数量3
分片位置 p1 = 1% 3 ， p2 =2%3 , p0=3%3
使用
GET test/_search_shards?routing=1可以查看具体数据路由到哪个分片上面
如上 id为1的文档会路由到2号分片上
