【分布式搜索引擎】Elasticsearch如何部署以及优化查询性能

一、Elasticsearch生产集群如何部署

(1)es生产集群部署5台机器,若每台机器是6核64G的,那么集群总内存是320G

(2)假如我们es集群的日增量数据大概是2000万条,每天日增量数据大概是500MB,每月增量数据大概是6亿,15G。若系统已经运行了几个月,那么es集群里数据总量大概是100G左右。

(3)建有5个索引(这个结合自己业务来,看看自己有哪些数据可以放es的),每个索引的数据量大概是20G,所以这个数据量之内,每个索引可以分配8个shard,比默认的5个shard多了3个shard

二、Elasticsearch如何优化查询性能

1)Elasticsearch查询慢的原因

  当我们往es里写的数据时,实际上都写到磁盘文件里去了,磁盘文件里的数据操作系统会自动将里面的数据缓存到os cache中。

  那么当我们的数据量特别大的时候,比如上面的部署场景,5台机器总内存是320G,但是我们存储了3200G的数据,那么最多就十分之一的数据能存入内存。那么大部分查询肯定很慢。

  走磁盘一般肯定上秒,搜索性能绝对是秒级别的,1秒,5秒,10秒。但是如果是走filesystem cache,是走纯内存的,那么一般来说性能比走磁盘要高一个数量级,基本上就是毫秒级的,从几毫秒到几百毫秒不等

2)如何优化呢?

  es的搜索引擎严重依赖于底层的filesystem cache,你如果给filesystem cache更多的内存,尽量让内存可以容纳所有的indx segment file索引数据文件,那么你搜索的时候就基本都是走内存的,性能会非常高。
  还是拿上面的部署场景举例,5台机器总内存是320G,假如分配给JVM或其他的总内存占100G,那么我们还有220G内存可以用来缓存Elasticsearch查询数据。若我们能够保证往Elasticsearch中存储的数据不超过220G,也就是保证所有数据都能走缓存,那么查询效率肯定很高。
  如果我们的存储数据要超过220G了,怎么办?通过加机器吧。。。

猜你喜欢

转载自www.cnblogs.com/756623607-zhang/p/10605075.html
今日推荐