Solr的Analyzer分析器、Tokenizer分词器、Filter过滤器的区别/联系
- Analyzer负责把文本字段转成token stream，然后自己处理、或调用Tokenzier和Filter进一步处理，Tokenizer和Filter是同等级和顺序执行的关系，一个处理完后交给下一个处理。
- Tokenizer接收text（从solr那里获得一个Reader来读取文本），拆分成tokens，输出token stream
- Filter接收token stream，对每个token进行处理（比如：替换、丢弃、不理），输出token stream。在配置文件中，Tokenizer放在第一位，Filter放在第二位直到最后一位。Filters是顺序执行的，前一个的结果是后一个是输入，所以，一般通用的处理放在前面，特殊的处理靠后
常见的Solr Filter过滤器
ASCII Folding Filter
这个Filter将不属于ASCII（127个字符，包括英文字母，数字，常见符号）的字符转化成与ASCII 字符等价的字符。
没有参数。
例子：
<analyzer>
<filter class="solr.ASCIIFoldingFilterFactory"/>
</analyzer>- 1
- 2
- 3
输入： “á”
输出：“a”
Classic Filter
这个Filter接受Classic Tokenizer的结果，并处理首字母缩略词和所有格形式(英文中含有 ‘s 的形式)
例子：
<analyzer>
<tokenizer class="solr.ClassicTokenizerFactory"/>
<filter class="solr.ClassicFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本：“I.B.M. cat’s can’t”
输入： “I.B.M”, “cat’s”, “can’t”
输出：“IBM”, “cat”, “can’t”
Common Grams Filter
这个Filter结合通用tokens来处理常用词。
| 参数 | 值 | 说明 |
|---|---|---|
| words | 以.txt结尾的文件 | 提供常用词库 |
| format | 可选，例如”snowball” | 指定常用词列表的格式 |
| ignoreCase | 布尔值，默认false | 是否忽略常用词大小写 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.CommonGramsFilterFactory" words="stopwords.txt" ignoreCase="true"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “the Cat”
输入： “the”, “Cat”
输出： “the_cat”
Edge N-Gram Filter
将输入文本转化成指定范围大小的片段。
| 参数 | 值 | 说明 |
|---|---|---|
| minGramSize | 整数，默认1 | 指定最小的片段大小 |
| maxGramSize | 整数，默认1 | 指定最大的片段大小 |
例如：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.EdgeNGramFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score and twenty”
输入： “four”, “score”, “and”, “twenty”
输出： “f”, “s”, “a”, “t”
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="4"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score”
输入： “four”, “score”
输出： “f”, “fo”, “fou”, “four”, “s”, “sc”, “sco”, “scor”
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.EdgeNGramFilterFactory" minGramSize="4" maxGramSize="6"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score and twenty”
输入： “four”, “score”, “and”, “twenty”
输出： “four”, “scor”, “score”, “twen”, “twent”, “twenty”
English Minimal Stem Filter
这个Filter将英语中的复数处理成单数形式。
没有参数。
例子：
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory "/>
<filter class="solr.EnglishMinimalStemFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “dogs cats”
输入： “dogs”, “cats”
输出： “dog”, “cat”
Keep Word Filter
这个Filter将不属于列表中的单词过滤掉。和Stop Words Filter的效果相反。
| 参数 | 值 | 说明 |
|---|---|---|
| words | 必填，以.txt结尾的文件 | 提供保留词列表 |
| ignoreCase | 布尔值，默认false | 是否忽略保留词列表大小写 |
| enablePositionIncrements | 布尔值 | Solr5.0以后废弃 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.KeepWordFilterFactory" words="keepwords.txt"/>
</analyzer>- 1
- 2
- 3
- 4
保留词列表keepwords.txt
happy
funny
silly
原始文本： “Happy, sad or funny”
输入： “Happy”, “sad”, “or”, “funny”
输出： “funny”
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.KeepWordFilterFactory" words="keepwords.txt" ignoreCase="true"/>
</analyzer>- 1
- 2
- 3
- 4
保留词列表keepwords.txt
happy
funny
silly
原始文本： “Happy, sad or funny”
输入： “Happy”, “sad”, “or”, “funny”
输出： “Happy”, “funny”
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.KeepWordFilterFactory" words="keepwords.txt"/>
</analyzer>- 1
- 2
- 3
- 4
- 5
保留词列表keepwords.txt
happy
funny
silly
原始文本： “Happy, sad or funny”
输入： “happy”, “sad”, “or”, “funny”
输出： “Happy”, “funny”
Length Filter
这个Filter处理在给定范围长度的tokens。
| 参数 | 值 | 说明 |
|---|---|---|
| min | 整数，必填 | 指定最小的token长度 |
| max | 整数，必填，需大于min | 指定最大的token长度 |
| enablePositionIncrements | 布尔值 | 从Solr5.0以后废弃 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LengthFilterFactory" min="3" max="7"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “turn right at Albuquerque”
输入： “turn”, “right”, “at”, “Albuquerque”
输出： “turn”, “right”
Lower Case Filter
这个Filter将所有的大写字母转化为小写。
没有参数。
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “Down With CamelCase”
输入： “Down”, “With”, “CamelCase”
输出： “down”, “with”, “camelcase”
N-Gram Filter
将输入文本转化成指定范围大小的片段。
| 参数 | 值 | 说明 |
|---|---|---|
| minGramSize | 整数，默认1 | 指定最小的片段大小 |
| maxGramSize | 整数，默认2 | 指定最大的片段大小 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.NGramFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score”
输入： “four”, “score”
输出： “f”, “o”, “u”, “r”, “fo”, “ou”, “ur”, “s”, “c”, “o”, “r”, “e”, “sc”, “co”, “or”, “re”
例子2：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.NGramFilterFactory" minGramSize="1" maxGramSize="4"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score”
输入： “four”, “score”
输出： “f”, “fo”, “fou”, “four”, “s”, “sc”, “sco”, “scor”
例子3：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.NGramFilterFactory" minGramSize="3" maxGramSize="5"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “four score”
输入： “four”, “score”
输出： “fou”, “four”, “our”, “sco”, “scor”, “score”, “cor”, “core”, “ore”
Pattern Replace Filter
这个Filter可以使用正则表达式来替换token的一部分内容，与正则表达式想匹配的被替换，不匹配的不变。
| 参数 | 值 | 说明 |
|---|---|---|
| pattern | 必填，正则表达式 | 需要匹配的正则表达式 |
| replacement | 必填，字符串 | 需要替换的部分 |
| replace | “all” 或 “first”, 默认”all” | 全部替换还是，只替换第一个 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.PatternReplaceFilterFactory" pattern="cat" replacement="dog"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “cat concatenate catycat”
输入： “cat”, “concatenate”, “catycat”
输出： “dog”, “condogenate”, “dogydog”
例子2：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.PatternReplaceFilterFactory" pattern="cat" replacement="dog" replace="first"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “cat concatenate catycat”
输入： “cat”, “concatenate”, “catycat”
输出： “dog”, “condogenate”, “dogycat”
例子3：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.PatternReplaceFilterFactory" pattern="(\D+)(\d+)$" replacement="$1_$2"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “cat foo1234 9987 blah1234foo”
输入： “cat”, “foo1234”, “9987”, “blah1234foo”
输出： “cat”, “foo_1234”, “9987”, “blah1234foo”
Standard Filter
这个Filter将首字母缩略词中的点号（如I.B.M处理为IBM）去除，将英文中的所有格形式中的's除去（如stationer’s处理为stationer）。
没有参数。
在Solr3.1以后已经废弃。
Stop Filter
这个Filter会在解析时忽略给定的停词列表（stopwords.txt）中的内容。
| 参数 | 值 | 说明 |
|---|---|---|
| words | 可选，停词列表 | 指定停词列表的路径 |
| format | 可选，如”snowball” | 停词列表的格式 |
| ignoreCase | 布尔值，默认false | 是否忽略大小写 |
| enablePositionIncrements | 布尔值 | Solr5.0以后废弃 |
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt"/>
</analyzer>- 1
- 2
- 3
- 4
保留词列表stopwords.txt
be
or
to
原始文本： “To be or what?”
输入： “To”(1), “be”(2), “or”(3), “what”(4)
输出： “To”(1), “what”(4)
例子2：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
</analyzer>- 1
- 2
- 3
- 4
保留词列表stopwords.txt
be
or
to
原始文本： “To be or what?”
输入： “To”(1), “be”(2), “or”(3), “what”(4)
输出： “what”(4)
Synonym Filter
这个Filter用来处理同义词。
| 参数 | 值 | 说明 |
|---|---|---|
| synonyms | 必选，以.txt结尾的文件 | 指定同义词列表 |
| ignoreCase | 布尔值，默认false | 是否忽略大小写 |
| expand | 布尔值，默认true | TRUE：同义词将扩大至所有等价的同义词；FALSE：所有等价的同义词将相当于列表中的第一个。 |
| format | 可选，默认solr | 指定解析同义词的策略 |
| tokenizerFactory | 可选，默认WhitespaceTokenizerFactory | 指定解析同义词列表使用的tokenizer factory |
| analyzer | 可选，默认WhitespaceTokenizerFactory | 指定使用的analyzer class |
注意，常用的同义词列表格式：
1. 以#开头的行为注释内容，忽略
2. 以,分隔的文本，为双向同义词，左右内容等价，互为同义词
3. 以=>分隔的文本，为单向同义词，匹配到左边内容，将替换为右边内容，反之不成立
例子：
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.SynonymFilterFactory" synonyms="mysynonyms.txt"/>
</analyzer>- 1
- 2
- 3
- 4
同义词列表synonyms.txt
couch,sofa,divan
teh => the
huge,ginormous,humungous => large
small => tiny,teeny,weeny
原始文本： “teh small couch”
输入： “teh”(1), “small”(2), “couch”(3)
输出： “the”(1), “tiny”(2), “teeny”(2), “weeny”(2), “couch”(3), “sofa”(3), “divan”(3)
原始文本： “teh ginormous, humungous sofa”
输入： “teh”(1), “ginormous”(2), “humungous”(3), “sofa”(4)
输出： “the”(1), “large”(2), “large”(3), “couch”(4), “sofa”(4), “divan”(4)
Word Delimiter Filter
这个Filter以每个单词为分隔符。
| 参数 | 值 | 说明 | 举例 |
|---|---|---|---|
| generateWordParts | 整数，默认1 | 不为0的时候正常分词 | CamelCase -> “Camel”, “Case” |
| generateNumberParts | 整数，默认1 | 不为0的时候可以分隔数字 | “1947-32” ->”1947”, “32” |
| splitOnCaseChange | 整数，默认1 | 为0时，不处理驼峰拼写形式 | “BugBlaster-XL” -> “BugBlaster”,”XL” |
| splitOnNumerics | 整数，默认1 | 为0时，不处理数字和单词组合的形式 | “FemBot3000” -> “Fem”, “Bot3000” |
| catenateWords | 整数，默认0 | 不为0时，会将分析后的单词连接在一起 | “hot-spot-sensor’s” -> “hotspotsensor” |
| catenateNumbers | 整数，默认0 | 不为0时，会将分析后的数字连接在一起 | 1947-32 -> “194732” |
| catenateAll | 0或1，默认0 | 不为0时，会将分析后的单词、数字等连接在一起 | “Zap-Master-9000” -> “ZapMaster9000” |
| preserveOriginal | 整数，默认0 | 不为0时，将保留原始的token | “Zap-Master-9000” -> “Zap-Master-9000”, “Zap”, “Master”, “9000” |
| protected | 可选，路径名 | 某个文件的内容将不会分析 | |
| stemEnglishPossessive | 整数，默认1 | 为1时，将除去's形式 |
“O’Reilly’s” -> “O”, “Reilly” |
例子：
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.WordDelimiterFilterFactory"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “hot-spot RoboBlaster/9000 100XL”
输入： “hot-spot”, “RoboBlaster/9000”, “100XL”
输出： “hot”, “spot”, “Robo”, “Blaster”, “9000”, “100”, “XL”
例子2：
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.WordDelimiterFilterFactory" generateNumberParts="0" splitOnCaseChange="0"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “hot-spot RoboBlaster/9000 100-42”
输入： “hot-spot”, “RoboBlaster/9000”, “100-42”
输出： “hot”, “spot”, “RoboBlaster”, “9000”,”100”,”42”
例子3：
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.WordDelimiterFilterFactory" catenateWords="1" catenateNumbers="1"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “hot-spot 100+42 XL40”
输入： “hot-spot”(1), “100+42”(2), “XL40”(3)
输出： “hot”(1), “spot”(2), “hotspot”(2), “100”(3), “42”(4), “10042”(4), “XL”(5), “40”(6)
例子4：
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.WordDelimiterFilterFactory" catenateAll="1"/>
</analyzer>- 1
- 2
- 3
- 4
原始文本： “XL-4000/ES”
输入： “XL-4000/ES”(1)
输出： “XL”(1), “4000”(2), “ES”(3), “XL4000ES”(3)
例子5：
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.WordDelimiterFilterFactory" protected="protwords.txt"/>
</analyzer>- 1
- 2
- 3
- 4
受保护词列表protwords.txt
AstroBlaster
XL-5000
原始文本： “FooBar AstroBlaster XL-5000 ==ES-34-”
输入： “FooBar”, “AstroBlaster”, “XL-5000”, “==ES-34-”
输出： “FooBar”, “AstroBlaster”, “XL-5000”, “ES”, “34”