1、题记
题出有因：
有位医生朋友在QQ留言，说对于专业词汇，检索不到怎么办？
举例：搜索：痉湿暍病 结合了国内的多款分词插件，竟然搜索不到?
2、共性认知
2.1 为什么需要分词？
wildcard模糊匹配不也可以全字段模糊查询，进而得到结果呢？
但是，当文档结果集非常大，模糊匹配必然会有性能问题。
搜索引擎的为什么能快速检索到自己查询的关键字呢？倒排索引是以O(1)时间复杂度，一招解决问题的关键。
没有词语，怎么建立索引呢？于是，我们需要中文分词！
并且分词发生在用户查询和服务器建立索引时。
2.2 查全率 VS 查准率
查全率＝（检索出的相关信息量/系统中的相关信息总量）*100%
查准率＝（检索出的相关信息量/检索出的信息总量）*100%
前者是衡量检索系统和检索者检出相关信息的能力，后者是衡量检索系统和检索者拒绝非相关信息的能力。两者合起来，即表示检索效率。
#3、Elasticsearch 多种检索类型选型指南
3.1 match检索
含义：精细化切词匹配，只要待匹配的语句中，有一个满足检索结果，就能匹配到。
场景：结果可能达不到实际开发预期。实际业务中但凡有精准度要求的都较少或几乎不使用。
举例：
PUT doctor_index/_doc/4
{
"content":"刘强东方才只是睡觉了,并没有违法"
}
我输入检索词
“小王睡觉”
，也能匹配到上面的content。
3.2match_phrase:短语匹配
含义：相比match，更强调多个分词结果和顺序，都要完整匹配才能检索到。
场景：实战应用中会较多使用，结合slop调整顺序和精度。
3.3 query_string
含义：支持与（AND）、或（OR）、非（NOT）的匹配。
场景：有与或非多值匹配的场景，无需单独再开发，开箱即用。底层的关键词实际走的是match_phrase，
不过多个参数（如：default_operator，phrase_slop等）可控制调整精度。
举例：
GET /_search
{
"query": {
"query_string" : {
"default_field" : "content",
"query" : "刘强东 AND 无罪"
}
}
}
4、为什么会检索不到？
结合几个典型例子，实践分析一把。
4.1 分词原因/词典未收录原因
举例：
PUT doctor_index/_doc/3
{
"content":"佟大为老婆生了孩子"
}
POST doctor_index/_search
{
"profile":"true",
"query": {
"match_phrase": {
"content": "佟大"
}
}
}
包含”佟大”，但是短语匹配搜索不到。
原因分析：
来看看切词，
GET /_analyze
{
"text":"佟大为老婆生了孩子",
"analyzer": "ik_max_word"
}
| token | start_offset | end_offset | position |
|---|---|---|---|
| 佟大为 | 0 | 3 | 0 |
| 大为 | 1 | 3 | 1 |
| 大 | 1 | 2 | 2 |
| 为 | 2 | 3 | 3 |
| 老婆 | 3 | 5 | 4 |
| 老 | 3 | 4 | 5 |
| 婆 | 4 | 5 | 6 |
| 生了 | 5 | 7 | 7 |
| 生 | 5 | 6 | 8 |
| 了 | 6 | 7 | 9 |
| 孩子 | 7 | 9 | 10 |
搜索：佟大，如果执意也要搜出结果呢？
| token | start_offset | end_offset | position |
|---|---|---|---|
| 佟 | 0 | 1 | 0 |
| 大 | 1 | 2 | 1 |
分析可知：佟大两个字组成的连词，没有作为词组分配的，所以匹配不到。
4.2 postition位置不一致。
假定我字典里面没有收录“刘强东”这个人名。
举例：
PUT doctor_index/_doc/4
{
"content":"刘强东方才只是睡觉了,并没有违法"
}
POST doctor_index/_search
{
"query": {
"match_phrase": {
"content": "刘强东"
}
}
}
原因分析：
| token | position |
|---|---|
| 刘强 | 0 |
| 东方 | 1 |
| 方才 | 2 |
| 方 | 3 |
| 才 | 4 |
| 只是 | 5 |
| 睡觉 | 6 |
| 睡 | 7 |
| 觉了 | 8 |
| 觉 | 9 |
| 了 | 10 |
| 并没有 | 11 |
| 并没 | 12 |
| 并 | 13 |
| 没有 | 14 |
| 有 | 15 |
| 违法 | 16 |
| 法 | 17 |
而刘强东的分词结果是：
| token | position |
|---|---|
| 刘强 | 0 |
| 东 | 1 |
match_phrase匹配必须：position一致，可以上下对比一下，由于东方组成了短语，导致结果position不一致，匹配结果检索不到。
5、如何让存在的字符都能搜索到呢？
5.1 关于match_phrase的精确度问题
方案一：match_phrase_prefix结合slop的方案
参见：之前的方案
但是，事后分析发现：slop设置不论多大、多小，都可能会引入噪音数据，导致结果不准确。
方案二：match_phrase结合match should关联匹配。
缺点：依然会引入噪音数据。
5.2 参考阿里云的实践思路，采取：逐个字分词和ik分词结合的方式。
单字分词应用场景——对于像姓名类字段，业务上需要支持完整匹配，又需要支持单字查询。可以配置1个keyword字段（不分词）；1个text字段（分词），分词器选择Elasticsearch默认分词器standard，按单个汉字切分。
5.3 实践一把
我们处理问题的前提：提升查全率。
PUT mix_index
{
"mappings": {
"_doc": {
"properties": {
"content": {
"type": "text",
"analyzer": "ik_max_word",
"fields": {
"standard": {
"type": "text",
"analyzer": "standard"
},
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
PUT mix_index/_doc/1
{
"content":"佟大为老婆生了孩子"
}
POST mix_index/_search
{
"query": {
"bool": {
"should": [
{
"match_phrase": {
"content": "佟大"
}
},
{
"match_phrase": {
"content.standard": "佟大"
}
}
]
}
}
}
6、小结
不是放之四海而皆准的实现方式。要看你的系统对查全率和查准率的要求了，正常的业务场景：
- 1）
动态更新词库、词典； - 2）match_phrase结合slop就能解决问题。
所以，一定要结合自己的业务场景。
相信这么处理，开头医生的需求也能实现了。
参考：
https://www.zhihu.com/question/19578687
https://blog.csdn.net/renenglish/article/details/5847100
https://zhidao.baidu.com/question/451424472.html
https://elasticsearch.cn/article/6171
https://blog.csdn.net/haiyan0106/article/details/1758929
Elasticsearch基础、进阶、实战第一公众号