提高Lucene索引性能
当索引的文件不多时，用 Lucene 默认的设置就能得到很好的性能。但是，如果索引大量文件，就得通过一些手段去提高 Lucene 索引性能。
1、 索引性能差的原因
1) Lucene 索引过程
在索引文件的过程中， Lucene 不是直接将文件索引到磁盘上，而是首先缓存，然后在写到磁盘。如上图所示。
2) 索引过程的瓶颈
- 往磁盘上写索引文件的过程
- 将磁盘上的几个小 Segment 合并成一个大的 Segment 的过程
2、 提高索引性能的方法
方式 1 ：调整 IndexWriter 参数
为控制索引占用的内存以及 Segment 段合并的频率， Lucene 提供了以下三个参数，通过调整这三个参数的值，可以改善索引的性能。
- mergeFactor （合并因子）：决定把磁盘上的索引块合并成一个大的索引块的频率，默认值为 10 。 比 如， mergeFactor ＝ 10 ，那么当 Segment 的数量达到 10 的话，这 10 个 Segment 会被合并成一个新 的 Segment 。如果合并后的这个大的 Segment 的数量达到 10 的话还会被合并成一个更大的 Segment 。直 到 Segment 中索引的文件数量达到 maxMergeDocs 时不在合并。如果需要索引的文档数非常多的话这个默认值将是非常不合适的。对批处理的索引来讲，为这个参数赋一个比较大的值会得到比较好的索引效果。
- minMergeDocs （ 最小合并文档数 ） ：决定了内存中的文档数至少达到多少才能将它们写回磁盘（其实就是 buffer 的大小）。默认值是 10 。如果你有足够的内存，那么将这个值尽量设的比较大一些将会显著的提高索引性能。
- maxMergeDocs （最大合并文档数）：决定了一个索引块中的最大的文档数。默认值是 Integer.MAX_VALUE 。 这个参数设置为比较大的值可以提高索引效率和检索速度，由于该参数的默认值是整型的最大值，所以我们一般不需要改动这个参数。
方式 2 ：使用 RAMDirectory
RAMDirectory 与 FSDirectory 的不同： RAMDirectory 的所有操作都在内存中，而 FSDirectory 的操作直接对应磁盘。因此 RAMDirectory 比 FSDirectory 要快。
先将索引写入 RAMDirectory 到一定程度在从 RAMDirectory 写入 FSDirectory 可以提高索引性能。
FSDirectory fsDir = FSDirectory.getDirectory( " /tmp/index " , true );
RAMDirectory ramDir = new RAMDirectory();
IndexWriter fsWriter = IndexWriter(fsDir, new SimpleAnalyzer(), true );
IndexWriter ramWriter = new IndexWriter(ramDir, new SimpleAnalyzer(), true );
while (there are documents to index) {
create Document
ramWriter.addDocument(doc);
if (condition for flushing memory to disk has been met) {
fsWriter.addIndexes(Directory[] {ramDir} );
ramWriter.close();
ramWriter = new IndexWriter(ramDir, new SimpleAnalyzer(), true );
}
}
其实zoie一方面解决了实时搜索这个问题，另一方面也提高了建索引的速度，就是使用的方法二，先使用内存索引，一段时间后merger到磁盘上