Elasticsearch(007):es中集群、分片等基本概念


Elastic-Search的基础概念

有一些概念是Elasticsearch的核心。从一开始就理解这些概念将极大地帮助简化学习过程。

1. 近实时(near realtime)

Elasticsearch是近实时搜索平台。这意味着从索引文档到可搜索到这段时间之间存在少许延迟(通常为一秒钟)。

2. 集群(cluster)

群集是一个或多个节点(服务器)的集合,这些节点一起保存您的全部数据,并在所有节点之间提供联合索引和搜索功能。集群由唯一名称标识,默认情况下为“ elasticsearch”。此名称很重要,因为如果节点被设置为通过其名称加入群集,则该节点只能是群集的一部分。

确保不要在不同的环境中重复使用相同的集群名称,否则最终可能会导致节点加入了错误的集群。例如,您可以将logging-devlogging-stagelogging-prod 用于开发,登台和生产集群。

请注意,只有一个节点在其中的集群是有效且完全可以的。此外,您可能还具有多个独立的群集,每个群集都有其自己的唯一群集名称。

3. 节点(node)

节点是单个服务器,它是群集的一部分,存储数据并参与群集的索引和搜索功能。就像群集一样,节点由名称标识,该名称默认为在启动时分配给该节点的随机通用唯一标识符(UUID)。如果不想使用默认的节点名称,则可以定义任何节点名称。此名称对于管理目的很重要,在管理中您要识别网络中的哪些服务器与Elasticsearch群集中的哪些节点相对应。

可以将节点配置为通过集群名称加入特定集群。默认情况下,每个节点都设置为加入一个名为的集群elasticsearch,这意味着如果您在网络上启动了多个节点,并且假设它们可以相互发现,它们将全部自动形成并加入一个名为的集群elasticsearch。

在单个群集中,您可以根据需要拥有任意数量的节点。此外,如果您的网络上当前没有其他Elasticsearch节点在运行,则默认情况下启动单个节点将形成一个名为的新单节点集群elasticsearch。

4. 索引(index)

可以把它理解成传统数据库中的一张表。

索引是具有相似特征的文档的集合。例如,您可以为客户数据创建索引,为产品目录创建另一个索引,为订单数据创建另一个索引。索引由名称标识(必须全为小写),并且对该索引中的文档执行索引,搜索,更新和删除操作时,该名称用于引用索引。

在单个群集中,您可以定义任意多个索引。

5. 类型(type)

在6.0.0中已弃用。

一种类型曾经是索引的逻辑类别/分区,它使您可以在同一索引中存储不同类型的文档,例如,一种用于用户,另一种用于博客文章。不再可能在索引中创建多个类型,并且在以后的版本中将删除整个类型的概念。

6. 文档(document)

文件是可以建立索引的基本信息单位。例如,您可以拥有一个针对单个客户的文档,一个针对单个产品的文档,以及另一个针对单个订单的文档。本文档以JSON(JavaScript对象表示法)表示,这是无处不在的Internet数据交换格式。

在索引/类型中,您可以存储任意数量的文档。请注意,尽管文档实际上位于索引中,但实际上必须将文档编入索引/分配给索引内的类型。

7. 分片和副本(shards&replicas)

索引可能会存储大量数据,这些数据可能超过单个节点的硬件限制。例如,十亿个文档的单个索引占用了1TB的磁盘空间,可能不适合单个节点的磁盘,或者可能太慢而无法单独满足来自单个节点的搜索请求。

为了解决此问题,Elasticsearch提供了将索引细分为多个碎片的功能。创建索引时,只需定义所需的分片数量即可。每个分片本身就是一个功能齐全且独立的“索引”,可以托管在群集中的任何节点上。

分片很重要,主要有两个原因:

  • 它允许您水平分割/缩放内容量
  • 它允许您跨碎片(可能在多个节点上)分布和并行化操作,从而提高性能/吞吐量

分片如何分布以及其文档如何聚合回到搜索请求中的机制由Elasticsearch完全管理,并且对您作为用户是透明的。

在随时可能发生故障的网络/云环境中,非常有用,强烈建议您使用故障转移机制,以防碎片/节点因某种原因脱机或消失。为此,Elasticsearch允许您将索引分片的一个或多个副本制作为所谓的副本分片(简称副本)

副本很重要,主要有两个原因:

  • 如果分片/节点发生故障,它可提供高可用性。因此,重要的是要注意,副本分片永远不会与从其复制原始/主要分片的节点分配在同一节点上。
  • 由于可以在所有副本上并行执行搜索,因此它可以扩展搜索量/吞吐量。

总而言之,每个索引可以分为多个分片。索引也可以副本为零(表示没有副本)或多次。复制后,每个索引将具有主分片(从中进行复制的原始分片)和副本分片(主分片的副本)。

可以在创建索引时为每个索引定义分片和副本的数量。创建索引后,您还可以随时动态更改副本数。您可以使用_shrink和_splitAPI 更改现有索引的分片数量,但这并不是一件容易的事,因此预先规划正确的分片数量是最佳方法。

默认情况下,Elasticsearch中的每个索引分配有5个主分片和1个副本,这意味着如果集群中至少有两个节点,则索引将具有5个主分片和另外5个副本分片(1个完整副本),总共每个索引10个分片。

发布了158 篇原创文章 · 获赞 147 · 访问量 27万+

猜你喜欢

转载自blog.csdn.net/weixin_39723544/article/details/103794625
今日推荐