# Elasticsearch 使用说明
#### 1.导包 （我用的是基于5.5版本的 ES， 大家 pip install的时候一定要注意版本号，别下载成老版的包了）
from elasticsearch import Elasticsearch, RequestsHttpConnection
#### 2.建立连接
```
es = Elasticsearch(
[<host>], http_auth=('name', 'password'), port=9200, # 端口号 9200固定 use_ssl=False # 是否使用ssl ) ``` ------------------------------------------------------------------------------------------------------------------------------------------ #### 3.映射参数 ``` mappings = { "mappings": { "type_doc_test": { # type_doc_test为doc_type # 也就是文档名字 "properties": { # 内容-> 字段设置 "id": { # 字段名称 "type": "long", # 字段类型 "index": "true" # 是否建立索引 }, "is_received": { "type": "boolean", "index": "false" }, } } } } mapping 信息中指定了分词的字段，指定了字段的类型 type 为 text，字段属性里面需要添加（如果是 购买的阿里服务 不用考虑这点）： 分词器 analyzer 和 搜索分词器 search_analyzer 为 ik_max_word [字段类型官方文档](https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html) 1.字符串类型 text 、 keyword # keyword不会进行分词,text会分词 （text模糊搜索[contains]，keyword精确搜索[==]） 2.数值类型 long, integer, short, byte, double, float, half_float, scaled_float 3.日期类型 date 4.布尔值类型 boolean 5.二进制类型 binary 6.范围类型 integer_range, float_range, long_range, double_range, date_range 7.Array数据类型(Array不需要定义特殊类型) [ "one", "two" ] [ 1, 2 ] [{ "name": "Mary", "age": 12 },{ "name": "John", "age": 10}] 8.object数据类型 （json嵌套） # 注意必须小写 { "region": "US", "manager": { "age": 30, "name": { "first": "John", "last": "Smith" } } } 9.地理数据类型 Geo-point，Geo-Shape(比较复杂，参考官网文档，一般用Geo-point就可以了) 10.特殊数据类型 ip(IPv4 and IPv6 addresses) completion(自动完成/搜索) token_count (数值类型，分析字符串，索引的数量) murmur3 (索引时计算字段值的散列并将它们存储在索引中的功能。 在高基数和大字符串字段上运行基数聚合时有很大帮助) join (同一索引的文档中创建父/子关系) ``` #### 4.基本语法 ``` 1.创建索引 res = es.indices.create(index='datebeses', body=mappings) index相当于数据库名称, body指定映射关系, 上述命令执行结果为： 创建一个名称为datebases的索引（数据库），创建第一张表名称为type_doc_test。 返回结果：{'acknowledged': True, 'shards_acknowledged': True} ------------------------------------------------------------------------------------------------------------------------------------------ 2.插入单个数据 achtion = { 'is_received': false, 'id': 1, } res = es.index(index="datebeses", doc_type="doc_type_test", body=action, id=1) index 指定插入数据到哪个索引 doc_type 指定插入数据到哪个文档 bady 指定需要插入的数据（数据类型说明：python->dict , ohter->object） id 非必传参数 建议传入手动输入 否则后续 get方法id不好指定， 不传id es会自动生成一个字符串id,不方便记录。 返回结果： {'_id': '1', 'result': 'created', '_index': 'index_test', 'created': True, '_version': 1, '_type': 'doc_type_test', '_shards':{ 'failed': 0, 'successful': 2, 'total': 2 } } 2.1 多个数据插入 helpers.bulk(client=es,actions=actions) # actions 列表 actions = [ { "_index": "concrete_values", "_type": "concrete_values_list", "_id": 1, "_source": { "id": 1, "create_time": '2019-01-25', "update_time": '2019-01-25', "formset_concrete_id": 1, "case_id": 1, "company_id": 1, "biz_meta_id": 1, "value": {"value": "hello world!"}, "content": "hello world", "name": "测试values", }}, ] ------------------------------------------------------------------------------------------------------------------------------------------ 3. 单个数据查询 res = es.get(index="index_test", doc_type="doc_type_test", id=1) # id参数必传 返回结果 {'_source': {'id': 1, 'is_received': True}, '_version': 1, '_index': 'index_test', 'found': True, '_type': 'doc_type_test', '_id': '1'} ``` ------------------------------------------------------------------------------------------------------------------------------------------ #### 4.1 简单查询 ``` doc = { "query": { # 查询集 "match": { # 查询器 # 字段名 以及 值 查询的字段type在建立索引的时候如果设置的为text才可以分词查询 其他 都为 == "id": 50000} }, "sort": {"id": {"order": "desc"}}, # 排序 字段 排序方式 "from": 0, # 从第几个数据查询 "size": 1 # 每页的数据数量 } ``` #### 4.2 搜索所有数据 ``` es.search(index="my_index",doc_type="test_type") # 或者 body = { "query":{ "match_all":{} } } es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.3 term与terms ``` # term body = { "query":{ "term":{ "name":"python" } } } # 查询name="python"的所有数据 es.search(index="my_index",doc_type="test_type",body=body) # terms body = { "query":{ "terms":{ "name":[ "python","android" ] } } } # 搜索出name="python"或name="android"的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.4 match与multi_match 单字段或多个字段查询 ``` # match:匹配name包含python关键字的数据 body = { "query":{ "match":{ "name":"python" } } } # 查询name包含python关键字的数据 es.search(index="my_index",doc_type="test_type",body=body) # multi_match:在name和addr里匹配包含深圳关键字的数据 body = { "query":{ "multi_match":{ "query":"深圳", "fields":["name","addr"] } } } # 查询name和addr包含"深圳"关键字的数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.5 ids 多个ID查询 ``` body = { "query":{ "ids":{ "type":"test_type", "values":[ "1","2" ] } } } # 搜索出id为1或2d的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.6 复合查询 ``` body = { "query":{ "bool":{ "must":[ { "term":{ "name":"python" } }, { "term":{ "age":18 } } ] } } } # 获取name="python"并且age=18的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.7 切片式查询 ``` # 可以用作分页 body = { "query":{ "match_all":{} } "from":2 # 从第二条数据开始 "size":4 # 获取4条数据 } # 从第2条数据开始，获取4条数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.8 范围查询 ``` body = { "query":{ "range":{ "age":{ "gte":18, # >=18 "lte":30 # <=30 } } } } # 查询18<=age<=30的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.9 前缀查询 ``` body = { "query":{ "prefix":{ "name":"p" } } } # 查询前缀为"p"的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.10 通配符查询 ``` body = { "query":{ "wildcard":{ "name":"*id" } } } # 查询name以id为后缀的所有数据 es.search(index="my_index",doc_type="test_type",body=body) ``` #### 4.11 排序 ``` body = { "query":{ "match_all":{} } "sort":{ "age":{ # 根据age字段升序排序 "order":"asc" # asc升序，desc降序 } } } ``` #### 4.12 响应过滤 ``` # 只需要获取_id数据,多个条件用逗号隔开 es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._id"]) # 获取所有数据 es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._*"]) ``` #### 4.13 count ``` # 获取数据量 es.count(index="my_index",doc_type="test_type") ``` #### 4.14 聚合查询 **· 4.14.1 获取最小值** ``` body = { "query":{ "match_all":{} }, "aggs":{ # 聚合查询 "min_age":{ # 最小值的key "min":{ # 最小 "field":"age" # 查询"age"的最小值 } } } } # 搜索所有数据，并获取age最小的值 es.search(index="my_index",doc_type="test_type",body=body) ``` **· 4.14.2 获取最大值** ``` body = { "query":{ "match_all":{} }, "aggs":{ # 聚合查询 "max_age":{ # 最大值的key "max":{ # 最大 "field":"age" # 查询"age"的最大值 } } } } # 搜索所有数据，并获取age最大的值 es.search(index="my_index",doc_type="test_type",body=body) ``` **· 4.14.3 获取和** ``` body = { "query":{ "match_all":{} }, "aggs":{ # 聚合查询 "sum_age":{ # 和的key "sum":{ # 和 "field":"age" # 获取所有age的和 } } } } # 搜索所有数据，并获取所有age的和 es.search(index="my_index",doc_type="test_type",body=body) ``` **· 4.14.4 获取平均值** ``` body = { "query":{ "match_all":{} }, "aggs":{ # 聚合查询 "avg_age":{ # 平均值的key "sum":{ # 平均值 "field":"age" # 获取所有age的平均值 } } } } # 搜索所有数据，获取所有age的平均值 es.search(index="my_index",doc_type="test_type",body=body) ``` ------------------------------------------------------------------------------------------------------------------------------------------ #### 5 查询数据数量 ``` res = es.search(index="index_test", doc_type="doc_type_test", filter_path=["hits.total"]) {'hits': {'total': 1}} # total是该doc里面所有的数量 可以用来与from size 做分页 res = es.count(index="index_test",doc_type="doc_type_test") {'_shards': {'total': 5, 'successful': 5, 'failed': 0}, 'count': 1} ``` #### 6 删除一条数据 ``` res = es.delete(index="index_test", doc_type="doc_type_test", id=1， ignore=[400, 404]) # 失败 返回结果 如果 没有ignore 找不到记录会报异常 {'_id': '2', '_index': 'index_test', '_type': 'doc_type_test', '_version': 2, 'found': False, '_shards': {'successful': 2, 'total': 2, 'failed': 0}, 'result': 'not_found'} # 成功返回结果 {'_shards': {'failed': 0, 'total': 2, 'successful': 2}, 'result': 'deleted', '_index': 'index_test', '_type': 'doc_type_test', 'found': True, '_version': 2, '_id': '1'} ``` #### 7更新数据 ``` #更新的主要点： #1. 需要指定 id #2. body={"doc": <xxxx>} , 这个doc是必须的 es.update(index="index_test",doc_type="doc_type_test",id=1,body={"doc":{"id":"python1","is_received":False}}) ``` #### 7.1 条件删除，更新 ``` # 删除 delete_by_query：删除满足条件的所有数据，查询条件必须符合DLS格式 query = {'query': {'match': {'sex': 'famale'}}}# 删除性别为女性的所有文档 query = {'query': {'range': {'age': {'lt': 11}}}}# 删除年龄小于11的所有文档 es.delete_by_query(index='indexName', body=query, doc_type='typeName') # 更新 update_by_query：更新满足条件的所有数据，写法同上删除和查询 ``` ##### 8 删除索引 慎用！ ``` result = es.indices.delete(index='index_test', ignore=[400, 404]) ```