提高lucene建立索引的效率(大数据量时)

第一种方式:IndexWriter类中关系到索引创建效率的几个方法

一、SetMergeFactor(合并因子)
SetMergeFactor是控制segment合并频率的,其决定了一个索引块中包括多少个文档,当硬盘上的索引块达到多少时,
将它们合并成一个较大的索引块。当MergeFactor值较大时,生成索引的速度较快。
MergeFactor的默认值是10,建议在建立索引前将其设置的大一些。

二、SetMaxBufferedDocs(最大缓存文档数)
SetMaxBufferedDocs是控制写入一个新的segment前内存中保存的document的数目,
设置较大的数目可以加快建索引速度,默认为10。

三、SetMaxMergeDocs(最大合并文档数)
SetMaxMergeDocs是控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度,
默认Integer.MAX_VALUE,无需修改。

在创建大量数据的索引时,我们会发现索引过程的瓶颈在于大量的磁盘操作,如果内存足够大的话,
我们应当尽量使用内存,而非硬盘。可以通过SetMaxBufferedDocs来调整,增大Lucene使用内存的次数。

如果内存足够大的话,我们也可以在索引过程中完全避免使用硬盘。Lucene支持使用文件系统和内存两种方式创建索引,
我们可以先把索引写入到RAMDirectory,达到一定数量时再批量写进FSDirectory,减少磁盘操作次数。相关的代码如下:
RAMDirectory rmd = new RAMDirectory();
IndexWriter writer = new IndexWriter(rmd, new StandardAnalyzer(), true);
while (not eof)         //遍历
{
Document doc = new Document();
doc.Add(…);  //Add Fields
writer.AddDocument(doc);
}
writer.SetUseCompoundFile(true);
writer.Optimize();
writer.Close();
另外,SetUseCompoundFile这个方法可以使Lucene在创建索引库时,会合并多个 Segments 文件到一个 .cfs 中。
此方式有助于减少索引文件数量,对于将来搜索的效率有较大影响。

猜你喜欢

转载自oaksun.iteye.com/blog/1756413