solr学习日记···文本分析-filter

上一节简单介绍了一下tokenizer,那么接下来来了解一下filter。
tokenizer按照自定义的规则分解文本产生了token流,而filter就是对token流进行进一步的过滤,针对token流中的每一个token顺序检验,符合的保留,不符合的丢弃,然后生成新的token流。所以我们可以将多个filter连接起来使用,对token进行多重过滤。不过要注意filter的连接顺序,一般来说会将更通用的放在前面。就好像垫在一起的几张鱼网,网格大一些的会放在上面。
与tokenizer类似,所有的filter工厂类都是继承了同一个父类:TokenFilterFactory
父类
可以看到它与TokenizerFactory继承自同一个父类(关于这些类的关系,之后会做一个分析总结),它的子类就是filter元素class属性的取值。而它的作用如最后一行英文所说:创建TokenFilter实例的工厂类的抽象父类
因为solr定义的filter比较多,就不一一介绍了,可以在官网查看:
https://lucene.apache.org/solr/guide/7_2/filter-descriptions.html

猜你喜欢

转载自blog.csdn.net/qq_19656425/article/details/78962661