Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:
实战 Lucene ,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用 Lucene 加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/
一、 solr 介绍
solr 是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个 servlet 容器里,例如 tomcat5.5 。 solr 在 lucene 的上层提供了一个基于 HTTP/XML 的 Web Services ,我们的应用需要通过这个服务与 solr 进行交互。
二、 solr 安装和配置
关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也 是 Lucene Java 项目的提交人和发言人:
使用 Apache Solr 实现更加灵巧的搜索: http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
下面主要说说需要注意的地方。
Solr 的安装非常简单,下载 solr 的 zip 包后解压缩将 dist 目录下的 war 文件改名为 solr.war 直接复制到 tomcat5.5 的 webapps 目录即可。注意一定要设置 solr 的主位置。有三种方法。我采用的是 在tomcat里配置java:comp/env/solr /home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost /solr.xml文件。
< Environment name ="solr/home" type ="java.lang.String" value ="D:/solr/solr" override ="true" />
</ Context >
观察这个指定的solr主位置,里面存在两个文件夹:conf和 data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文 件。
schema.xml 主要包括 types 、 fields 和其他的一些缺省设置。
solrconfig.xml 用来配置 Solr 的一些系统属性,例如与索引和查询处理有关的一些常见的配置选 项,以及缓存、扩展等等。
上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到 schema.xml 里有一个
的配置,这里将 url 字段作为索引文档的唯一标识符,非常重要。
三、 加入中文分词
对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的 是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的 BaseTokenizerFactory。
* Created by IntelliJ IDEA.
* User: ronghao
* Date: 2007-11-3
* Time: 14:40:59
* 中文切词 对庖丁切词的封装
*/
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
/**
* 最多切分 默认模式
*/
public static final String MOST_WORDS_MODE = " most-words " ;
/**
* 按最大切分
*/
public static final String MAX_WORD_LENGTH_MODE = " max-word-length " ;
private String mode = null ;
public void setMode(String mode) {
if (mode == null || MOST_WORDS_MODE.equalsIgnoreCase(mode)
|| " default " .equalsIgnoreCase(mode)) {
this .mode = MOST_WORDS_MODE;
} else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
this .mode = MAX_WORD_LENGTH_MODE;
}
else {
throw new IllegalArgumentException( " 不 合法的分析器Mode参数设置: " + mode);
}
}
@Override
public void init(Map < String, String > args) {
super .init(args);
setMode(args.get( " mode " ));
}
public TokenStream create(Reader input) {
return new PaodingTokenizer(input, PaodingMaker.make(),
createTokenCollector());
}
private TokenCollector createTokenCollector() {
if ( MOST_WORDS_MODE.equals(mode))
return new MostWordsTokenCollector();
if ( MAX_WORD_LENGTH_MODE.equals(mode))
return new MaxWordLengthTokenCollector();
throw new Error( " never happened " );
}
}
在schema.xml的字段text配置里加入该分词器。
< analyzer type ="index" >
< tokenizer class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode ="most-words" />
< filter class ="solr.StopFilterFactory" ignoreCase ="true" words ="stopwords.txt" />
< filter class ="solr.WordDelimiterFilterFactory" generateWordParts ="1" generateNumberParts ="1" catenateWords ="1" catenateNumbers ="1" catenateAll ="0" />
< filter class ="solr.LowerCaseFilterFactory" />
< filter class ="solr.RemoveDuplicatesTokenFilterFactory" />
</ analyzer >
< analyzer type ="query" >
< tokenizer class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode ="most-words" />
< filter class ="solr.SynonymFilterFactory" synonyms ="synonyms.txt" ignoreCase ="true" expand ="true" />
< filter class ="solr.StopFilterFactory" ignoreCase ="true" words ="stopwords.txt" />
< filter class ="solr.WordDelimiterFilterFactory" generateWordParts ="1" generateNumberParts ="1" catenateWords ="0" catenateNumbers ="0" catenateAll ="0" />
< filter class ="solr.LowerCaseFilterFactory" />
< filter class ="solr.RemoveDuplicatesTokenFilterFactory" />
</ analyzer >
</ fieldtype >
</ types >
完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改 jar包里字典的home。
四、 与自己应用进行集成
Solr 安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据--> 根据配置的字段构建add的xml文档 --> post 至solr/update。
应用删除数据 à 根据配置 的索引文档唯一标识符构建delete的xml文档 --> post 至solr/update。
检索数据 à 构建查询 xml—>get至/solr/select/--> 对solr返回的xml进行处理 --> 页面展现。
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。
关于中文,solr 内核支持 UTF-8 编码,所以在 tomcat 里的 server.xml 需要进行配置
另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。
for (String str : array) {
result = result + URLEncoder.encode(str, " UTF-8 " ) + " + " ;
}
http://www.blogjava.net/ronghao 荣浩原创,转载请注明出处:)