概述
今天，正式开始学习Elasticsearch，因为Elasticsearch是用Lucene来实现索引的查询功能的，所以，理解Lucene的原理显的尤为重要。
Lucene 简介
Lucene 是一个开源的全文检索引擎工具包。它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，它提供了完整的查询引擎和索引引擎，部分文本分析引擎。
索引说明
索引，可以想象成一种数据结构，使你快速的随机访问存储在索引中的关键词，进而找到关键词所关联的文档。Lucene 采用的一种称为倒排索引（Invered index）的机制，倒排索引就是说我们维护了一个词/短语表，对于这个词/短语表，都有一个链表描述了有哪些文档包含了这个词/短语。这样在用户输入查询条件的时候，就可以非常快的得到搜索结果。
对文档建立好索引之后，就可以在这些索引上面进行搜索，搜索引擎首先会对搜索的关键词进行解析，然后再在建立好的索引上面进行查找，最终返回和用户输入的关键词相关联的文档。
建立索引相关概念
为了对文档进行索引，Lucene 提供了5个基础的类，Document;Field;Analyzer;IndexWriter;Directory，下面我们分别介绍这几个类的功能。
Document
用来描述文档，此处的文档可以理解为数据库的一条记录，一篇文章。一个Document 对象由多个Field 对象组成。比如说，一篇文章是一个文档的话，那么，其标题，正文，标签就分别对应一个个Field对象。整体组成一个文档对象。
Field
用来描述一个文档的某个属性。比如文章的标题就对应一个Field。
Analyzer
在一个文档被索引之前，首先需要对文档进行分词处理，这部分工作就是有Analyzer(分词器)来做的。
IndexWriter
核心类，作用是把一个个Document对象加到索引中
Directory
这个类代表了Lucene 的索引存储的位置，这是一个抽象类，其有两个实现类，其中FSDirectory 类，表示一个存储在文件系统中的索引的位置，另外一个RAMDirectory 类表示一个存储在内存中的索引的位置。
构建索引的总体流程
- 为每一个待检索的文件构建Document对象，将文件中各部分内容作为Field类对象
- 使用Analyzer类实现对文档中的自然语言文本进行分词处理，并使用IndexWriter 类构建索引
- 使用FSDirectory 类设定索引存储的方式和位置，实现索引的存储
查询文档相关概念
Lucene 提供了几个基础的类来完成 在索引上进行搜索以查找包含某个关键词或短语的文档的过程。他们分别是IndexSearcher,Term, Query,TermQuery,Hits。 下面我们分别介绍这几个类的功能。
Query
这是一个抽象类，他有多个子类，比如：TermQuery,BooleanQuery,PrefixQuery,MultiTermQuery等等。这个类的目的是把用户输入的查询字符串封装成Lucene 能够识别的Query。
Term
Term 是搜索的基本单位，一个Term对象有两个String 类型的域组成。生成一个Term 对象可以有如下一条语句来完成：Term term=new Term(“fieldName”,“queryWorld”);其中第一个参数代表了要在文档的哪一个Field上进行查找，第二个参数代表了要查询的关键词。
TermQuery
TermQuery是抽象类Query的一个子类，它同时也是Lucene支持的最为基本的一个查询类。 Query query = new TermQuery(new Term(“fieldName”,“queryWorld”)); 它的构造函数只接收一个参数，那就是Term。
IndexSearcher
IndexSearcher 是用来在建立好的索引上进行搜索的，它只能以只读的方式打开一个索引，所以可以有多个IndexSearcher 的实例在一个索引上进行操作。
Hits
Hits 是用来保存搜索的结果的。
在索引上查询的流程如下:
- 使用IndexReader类读取索引
- 使用Term类表示用户所查找的关键词以及关键词所在的字段，使用QueryParser类表示用户的查询条件。使用Term类表示用户所查找的关键词以及关键词所在的字段，使用QueryParser类表示用户的查询条件。
- 对关键词进行分词。
- 使用IndexSearcher类检索索引，返回符合查询条件的Document类对象。
倒排索引
正如前面所说Lucene 采用的是倒排索引的机制，由属性值来确定记录的位置，而不是由记录确定属性。
如图所示：
具体参考倒排索引原理和实现
索引时
以live 这行为例我们说明下该结构：live在文章1中出现了2次，文章2中出现了一次，它的位置为“2，5，2”,这表示什么呢？我们需要结合文章号和出现频率来分析啊，文章1出现了2次，那么“2，5” 就表示live在文章1中出现的两个位置，文章2中出现了一次，那么剩下的“2” 就表示live是文章2中第2个关键词
我们注意到关键字是按字符顺序排列的（lucene没有使用B树结构），因此lucene可以用二分搜索算法快速定位关键词
实现
lucene将上面三列分别作为词典文件（Term Dictionary）、频率文件(frequencies)、位置文件 (positions)保存。其中词典文件不仅保存有每个关键词，还保留了指向频率文件和位置文件的指针，通过指针可以找到该关键词的频率信息和位置信息。
Lucene 中使用了field的概念，用于表达信息所在的位置（如标题中，文章中，url中），在建索引中，该field 信息也记录在词典文件中，每个关键词都有一个field信息（因为每个关键字一定属于一个或多个field）
一个简单的demo
新建一个maven项目，引入Lucene 的依赖，版本为7.4.0。
- POM文件中的依赖如下：
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>7.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
<version>7.4.0</version>
</dependency>
- 建立索引
public class CreateTest {
public static void main(String[] args) throws Exception {
// Path indexPath = FileSystems.getDefault().getPath("d:\\index\\");
Path indexPath = FileSystems.getDefault().getPath("/Volumes/Develop/index");
// FSDirectory有三个主要的子类,open方法会根据系统环境自动挑选最合适的子类创建
// MMapDirectory：Linux, MacOSX, Solaris
// NIOFSDirectory：other non-Windows JREs
// SimpleFSDirectory：other JREs on Windows
Directory dir = FSDirectory.open(indexPath);
// 分词器
Analyzer analyzer = new StandardAnalyzer();
boolean create = true;
IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);
if (create) {
indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
} else {
// lucene是不支持更新的，这里仅仅是删除旧索引，然后创建新索引
indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
}
IndexWriter indexWriter = new IndexWriter(dir, indexWriterConfig);
Document doc = new Document();
// 域值会被索引，但是不会被分词，即被当作一个完整的token处理，一般用在“国家”或者“ID
// Field.Store表示是否在索引中存储原始的域值
// 如果想在查询结果里显示域值，则需要对其进行存储
// 如果内容太大并且不需要显示域值（整篇文章内容），则不适合存储到索引中
doc.add(new StringField("Title", "sean", Field.Store.YES));
long time = new Date().getTime();
// LongPoint并不存储域值
doc.add(new LongPoint("LastModified", time));
// doc.add(new NumericDocValuesField("LastModified", time));
// 会自动被索引和分词的字段，一般被用在文章的正文部分
doc.add(new TextField("Content", "this is a test of sean", Field.Store.NO));
List<Document> docs = new LinkedList<>();
docs.add(doc);
indexWriter.addDocuments(docs);
// 默认会在关闭前提交
indexWriter.close();
}
}
运行结果：
构建索引时序图如下
4. 在建立好的索引上进行搜索
public class QueryTest {
public static void main(String[] args) throws Exception {
// Path indexPath = FileSystems.getDefault().getPath("d:\\index\\");
Path indexPath = FileSystems.getDefault().getPath("/Volumes/Develop/index");
Directory dir = FSDirectory.open(indexPath);
// 分词器
Analyzer analyzer = new StandardAnalyzer();
IndexReader reader = DirectoryReader.open(dir);
IndexSearcher searcher = new IndexSearcher(reader);
// 同时查询多个域
String[] queryFields = {"Title", "Content", "LastModified"};
QueryParser parser = new MultiFieldQueryParser(queryFields, analyzer);
Query query = parser.parse("sean 123");
// 一个域按词查doc
// Term term = new Term("Title", "sean");
// Query query = new TermQuery(term);
// 模糊查询
// Term term = new Term("Title", "se*");
// WildcardQuery query = new WildcardQuery(term);
// 范围查询
// Query query1 = LongPoint.newRangeQuery("LastModified", 1L, 1637069693000L);
////
//// // 多关键字查询，必须指定slop（key的存储方式）
// PhraseQuery.Builder phraseQueryBuilder = new PhraseQuery.Builder();
// phraseQueryBuilder.add(new Term("Content", "test"));
// phraseQueryBuilder.add(new Term("Content", "sean"));
// phraseQueryBuilder.setSlop(10);
// PhraseQuery query2 = phraseQueryBuilder.build();
//////
////// // 复合查询
// BooleanQuery.Builder booleanQueryBuildr = new BooleanQuery.Builder();
// booleanQueryBuildr.add(query1, BooleanClause.Occur.MUST); //and
// booleanQueryBuildr.add(query2, BooleanClause.Occur.MUST); //and
// BooleanQuery query = booleanQueryBuildr.build();
// 返回doc排序
// 排序域必须存在，否则会报错
Sort sort = new Sort();
SortField sortField = new SortField("Title", SortField.Type.SCORE);
sort.setSort(sortField);
TopDocs topDocs = searcher.search(query, 10, sort);
if(topDocs.totalHits > 0)
for(ScoreDoc scoreDoc : topDocs.scoreDocs){
int docNum = scoreDoc.doc;
Document doc = searcher.doc(docNum);
System.out.println(doc.toString());
}
}
}
运行结果：
查询索引时序图如下：
总结
本文首先对Lucene 做了简介，然后对建立索引和查询文档的基本类做了详细说明，接着，对倒排索引做了详细阐述，最后就是通过一个demo来说明Lucene的使用。
参考资料
https://www.ibm.com/developerworks/cn/java/j-lo-lucene1/index.html
https://www.elastic.co/guide/cn/elasticsearch/guide/current/inverted-index.html
倒排索引原理和实现