Elasticsearch分词器
ES内置的6种分词器
标准分词器，未设置分词器时默认使用此分词器。在空格、符号处切，中文部分切割为一个一个的汉字。
切的意思是不要了。多个连续的空格算一个空格，符号指的是！、？、@、。等
“h!ello wo2rld a b我是a中国人d” => h ello wo2rld a b 我 是 a 中 国 人
简单分词器。在空格、符号、数字处切，中文部分不会切割为一个一个的汉字。
数字指的是1、2.5这种，不包括大写的数字。
“h!ello wo2rld a b我是a中国人d” => h ello wo rld a b我是a中国人d
停止分词器。在空格、符号、数字、英文介词|冠词 处切，中文部分不会切割为一个一个的汉字。
英文介词|冠词指的是the、a、an、this、of、at等，注意是英文的，中文的介词|冠词不切。
“h!ello wo2rld a b我是a中国人d” => h ello wo rld b我是a中国人d
在英文中，冠词|介词前后都有一个空格，是单独的一个词，如果前后没有空格，那就不算介词|冠词。
空白符分词器。只在空格处切。
“h!ello wo2rld a b我是a中国人d” => h!ello wo2rd a b我是a中国人d
语言分词器。语言分词器有很多种，把语言全小写就是，比如english，chinese。
english、chinese的效果都一样：在空格、符号、英文介词|冠词 处切，中文切割为一个一个的汉字。
正则表达式分词器。根据正则表达式来切，默认使用的正则表达式是\W+，在匹配\W+的地方切。
\w包括英文字母、阿拉伯数字、_，\W是任意一个非\w字符，中文字符也算\W。
+表示一个及以上，就是说多个非\w字符算作一处。
查看分词结果
POST 192.168.1.9:9200/_analyze #GET、POST均可
{
"analyzer":"standard", #使用的分词器
"text":"hello world!" #文本
}
返回示例
{
"tokens": [
{
"token": "hello", #切割好的一块
"start_offset": 0, #偏移量，即这一块的在文本中的起始位置、末尾位置
"end_offset": 5,
"type": "<ALPHANUM>",
"position": 0 #这是拆分出来的第几块，从0开始
},
{
"token": "world",
"start_offset": 6,
"end_offset": 11,
"type": "<ALPHANUM>",
"position": 1
}
]
}
设置分词器
设置分词器需要在创建index时，就设置mapping，给mapping中的某些text字段设置分词器
PUT 192.168.1.9:9200/mall{
"settings": {
"analysis": {
"analyzer": {
"my_analyzer": {
#分词器的名字的可以随便取
"type": "simple" #分词器的类型
}
}
}
},
"mappings": {
"properties": {
"goods_name": {
"type": "text",
"analyzer": "my_analyzer" #给此字段设置分词器。使用match根据此字段搜索分词时，会自动使用此分词器
},
"goods_price": {
"type": "float"
},
"goods_description": {
"type": "text"
}
}
}
}
中文分词器
ES内置的分词器，要么把中文切分为一个一个的汉字，要么就不切割中文部分，对中文分词的实现很差。
常用的第三方的中文分词器
- SmartCN ⼀个简单的中⽂、中英⽂混合⽂本的分词器
- IK 比smartCN更智能、更友好，推荐
安装插件
cd到es的bin目录，执行elasticsearch-plugin命令
./elasticsearch-plugin install analysis-smartcn #install后面是插件名
#./都可以用sh代替
sh elasticsearch-plugin install analysis-smartcn
插件会自动安装到es的plugins目录。这种方式下载速度很慢，不推荐。
到官网下载相关插件
https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis.html
SmartCN、IK都可以在这个页面下载。插件版本要和es的版本一致，如果都是最新版，那一般都是一致的。
安利一波QQ浏览器，迅雷下载不了的文件我QQ浏览器能下。
下载后解压，把解压得到的文件夹上传到es的plugins目录下，重启es生效。
测试下插件是否安装成功
POST 192.168.1.9:9200/_analyze
{
"analyzer": "smartcn",
"text": "小米笔记本"
}
SmartCN的分词器名称是 smartcn ，IK的是 ik_max_word 。
SmartCN有时候不够智能，比如“小米10pro”，会拆分为 小 米 10 pro
IK更加智能，拆分为 小米 10pro 10 pro，会从不同的粗细层面进行拆分。
卸载插件
执行es bin目录下的elasticsearch-plugin命令，最后面是插件名
./elasticsearch-plugin remove analysis-smartcn
SmartCN的插件名是 analysis-smartcn ，IK的插件名是 ik_smart 。