浅谈Solr和ElasticSearch建索引性能优化策略





由于Solr和ElasticSearch都是基于Lucene构建的,所以他们之间有很大程度的相似性,故而他们的一些优化策略基本也是通用的,面对越来越多的海量数据,如何优化全量索引的写入性能呢? 散仙简单总结了下面几个方向的优化策略,如有疑问,欢迎拍砖。


(一)硬件优化:
(1)CPU加大,有利于并发写入
(2)内存提升,加大写入缓冲
(3)磁盘IO,使用SSD或者IO读写更快的磁盘
(4)网络IO,保证客户端与服务端的通信带宽充足

(二)服务端框架优化:
(1)加大shard的数目,理论上shard越多,写入速度越快
(2)设置较大的索引flush触发条件,ramBufferSizeMB 或者 maxBufferedDocs
(3)写索引时,关闭副本,因为同步索引会大大降低写入速度
(4)监控GC,调整JVM参数
如果Full GC频繁,加大JVM堆内存,
如果Yong GC频繁,加大新生代的比例,如果使用的是CMS垃圾收集器,必要时,可以关闭survive区,避免survive区和Eden区来回拷贝
(5)尽量使用稳定的新版本如JDK和框架本身
(6)内存大的,可以尝试G1垃圾收集器


(三) 客户端优化
(1)如果公司有大数据部门,可以使用Hadoop或者Spark分布式集群构建索引
(2)如果公司没有大数据产品,可以使用多线程或者多进程并行构建索引
(3)使用批量提交
(4)减少commit次数,让服务端控制flush索引,索引完成之后,可手动commit一次。



有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,我们同行。

猜你喜欢

转载自qindongliang.iteye.com/blog/2294377