浅谈lucene中文检索

最近学习了Lucene，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用

---

---

一 lucene简介

   Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。

二 lucene优势

   对于开发者来说，最直接的感受就是搜索出来的结果更合理，更人性化，详情见下面的例子。

三 开发思路

   为数据创建索引------->根据索引查找关键字

四 中文检索举例

1. 需要的包

   <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-core</artifactId>
        <version>5.3.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-queryparser</artifactId>
        <version>5.3.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-common</artifactId>
        <version>5.3.1</version>
    </dependency>

    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>

    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-smartcn</artifactId>
        <version>5.3.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
        <version>5.3.1</version>
    </dependency>

2. 为数据创建索引

/**
 * @author ys
 * @version 2.0
 * @date 2020/5/23 10:47
 */
public class Indexer {

    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
    private String descs[]={
            "青岛是一个美丽的城市。",
            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
            "上海是一个繁华的城市。"
    };

    private Directory dir; //缩印的存放目录

    /**
     * 获取IndexWriter实例
     * @return
     * @throws Exception
     */
    private IndexWriter getWriter()throws Exception{
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer(); //中文分词器女
        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
        return writer;
    }

    /**
     * 生成索引
     * @param indexDir
     * @throws Exception
     */
    private void index(String indexDir)throws Exception{
        dir= FSDirectory.open(Paths.get(indexDir));
        IndexWriter writer=getWriter();
        for(int i=0;i<ids.length;i++){
            Document doc=new Document();
            doc.add(new IntField("id", ids[i], Field.Store.YES));
            doc.add(new StringField("city",citys[i],Field.Store.YES));
            doc.add(new TextField("desc", descs[i], Field.Store.YES));
            writer.addDocument(doc); // 添加文档
        }
        writer.close();
    }

    public static void main(String[] args) throws Exception {
        new Indexer().index("D:\\lucene6");
    }
}

    运行main函数后的结果:

3. 根据索引查找关键词，并高亮显示

/**
 * @author ys
 * @version 2.0
 * @date 2020/5/23 10:52
 */
public class Searcher {
    
    public static void search(String indexDir,String q)throws Exception{
        Directory dir = FSDirectory.open(Paths.get(indexDir));
        DirectoryReader reader = DirectoryReader.open(dir);
        IndexSearcher is=new IndexSearcher(reader);
        SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(); //中文分词器
        QueryParser parser = new QueryParser("desc", analyzer);
        Query query = parser.parse(q);
        long start = System.currentTimeMillis();
        TopDocs hits = is.search(query, 10);
        long end = System.currentTimeMillis();
        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");

        //接下来的几行代码是对高亮显示的配置
        //评分
        QueryScorer scorer = new QueryScorer(query);
        //摘要
        SimpleSpanFragmenter fragmenter = new SimpleSpanFragmenter(scorer);
        //关键字样式
        SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<b><font color='red'>", "</font></b>");
        //高亮设置
        Highlighter highlighter = new Highlighter(simpleHTMLFormatter, scorer);
        //高亮的范围
        highlighter.setTextFragmenter(fragmenter);
        
        //对查询结果进行高亮显示
        for (ScoreDoc scoreDoc:hits.scoreDocs){
            Document doc = is.doc(scoreDoc.doc);
            System.out.println("原文："+doc.get("desc"));
            String desc=doc.get("desc");
            if (desc != null){
                TokenStream tokenStream = analyzer.tokenStream("desc", new StringReader(desc));
                System.out.println("摘要："+highlighter.getBestFragment(tokenStream,desc));
            }
        }
        reader.close();
    }

    public static void main(String[] args) {
        String indexDir="D:\\lucene6";
        String q="南京文化";
        try {
            search(indexDir,q);
        } catch (Exception e) {
            e.printStackTrace();
        }
    } 
}

    查询结果:

匹配 南京文化 ，总共花费19毫秒查询到1个记录
原文：南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。
摘要：<b><font color='red'>南京</font></b>是一个有<b><font color='red'>文化</font></b>的城市。<b><font color='red'>南京</font></b>是一个<b><font color='red'>文化</font></b>的城市<b><font color='red'>南京</font></b>，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住

---

五 总结

   如有错误恳请指正，如有侵权请联系我删除