ElasticSearch基本操作

作者：dominating

本文将介绍使用ElasticSearch提供的REST API来对ElasticSearch进行基础的操作。

安装curl

安装curl(https://curl.haxx.se/download.html)下载安装包，或者直接下载

wget http://curl.haxx.se/download/curl-7.20.0.tar.gz

解压到指定目录

tar -zxf curl-7.20.0.tar.gz

进入解压后的目录，配置，指定安装的目录

cd curl-7.17.1
./configure --prefix=/usr/local/curl
make
make install

将curl命令加入到环境变量
export PATH=$PATH:/usr/local/curl/bin
执行source /etc/profile

索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
查看索引

curl 'http://192.168.255.143:9200/_cat/indices?v'

说明集群中还没有索引。
创建索引

curl -XPUT 'http://192.168.255.143:9200/customer'

再次查看索引

现在有一个叫做customer的索引，并且它有5个主分片和1份复制（都是默认值），其中包含0个文档
删除索引

curl -X DELETE 'localhost:9200/ customer'

文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以 JSON（Javascript Object Notation）格式来表示。
添加文档
为了索引一个文档，我们必须告诉Elasticsearch这个文档要到这个索引的哪个类型（type）下
将一个简单的客户文档索引到customer索引、“external”类型中，这个文档的ID是1，操作如下：

curl -H "Content-Type: application/json" -XPUT 'http://192.168.255.143:9200/customer/external/1' -d '{"name": "John Doe"}'

查询刚才添加的文档

curl -XGET ‘http://192.168.255.143:9200/customer/external/1?pretty’

新增记录的时候，也可以不用指定id，但是得改成POST请求，生成的id为一个随机字符串

删除文档

curl -XDELETE ‘http://192.168.255.143:9200/customer/external/1’

更新文档

curl -H "Content-Type: application/json" -XPOST 'http://192.168.255.143:9200/customer/external/1/_update?pretty' -d '
{
"doc":{"name":"lisi"}
}'

批处理
使用_bulk API实现，这个功能之所以重要，在于它提供了非常高效的机制来尽可能快的完成多个操作，与此同时使用尽可能少的网络往返
以下调用在一次bulk操作中索引了两个文档（ID 2 - zhangsan 和ID 3 - lisi）:

curl -H "Content-Type: application/json" -XPOST 'http://192.168.255.143:9200/customer/external/_bulk?pretty' -d '{"index":{"_id":"2"}} {"name":"zhangsan"}{"index":{"_id":"3"}} {"name":"lisi"} '

搜索数据

1、返回所有记录
用GET方法，直接请求/Index/Type/_search，就能返回所有结果

curl -XGET 'http://192.168.255.143:9200/customer/external/_search?pretty'

- took —— Elasticsearch执行这个搜索的耗时，以毫秒为单位
- timed_out —— 指明这个搜索是否超时
- _shards —— 指出多少个分片被搜索了，同时也指出了成功/失败的被搜索的shards的数量
- hits —— 搜索结果
- hits.total —— 能够匹配我们查询标准的文档的总数目
- hits.hits —— 真正的搜索结果数据（默认只显示前10个文档）

执行搜索，Elasticsearch提供一种JSON风格的特定领域语言，查询DSL，利用它可以执行查询

curl -XPOST 192.168.255.143:9200/customer/_search?pretty' -d '
    {
      "query": { "match_all": {} },
      "size": 1
}'

使用match_all进行查询，并且只返回第一个文档。如果没有指定size的值，则默认返回前10个文档
也可以指定返回从哪个文档开始，返回多少文档

curl -XPOST ‘192.168.255.143:9200/bank/_search?pretty' -d '
    {
      "query": { "match_all": {} },
“from”:10,
      "size": 20
    }'

以上做了一次match_all查询并且返回第11个到第20个文档

查询姓名为”zhangsan”的记录

curl -XPOST ‘192.168.255.143:9200/customer/_search?pretty' -d '
{
  "query": { "match": { "name ": “zhangsan” } }
}'

逻辑运算
查询姓名为”zhangsan”或者”lisi”的记录

curl -XPOST 192.168.255.143:9200/customer/_search?pretty' -d '
{
  "query": { "match": { "name ": “zhangsan lisi” } }
}'

查询姓名为”zhangsan”并且年龄为20的记录

curl -XPOST 192.168.255.143:9200/ customer /_search?pretty' -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "name": "zhangsan" } },
        { "match": { "age": "20" } }
      ]
    }
  }
}'

也可以修改bool参数， 除了must,还有should（或），must_not（不包括）

过滤查询
查询年龄在20-30岁的记录，使用filter进行过滤，嵌套在bool查询内部使用

curl -XPOST ‘192.168.255.143:9200/customer/_search?pretty' -d '
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "age": {
            "gte": 20,
            "lte": 30
          }
        }
      }
    }
  }
}'

聚合
聚合提供了用户进行分组和数理统计的能力，可以把聚合理解成SQL中的GROUP BY和分组函数。在ES中，你可以在一次搜索查询的时间内，即完成搜索操作也完成聚合操作，这样就降低了多次使用REST API造成的网络开销
一个简单的terms聚合例子，查询所有的文档，并且按照岗位分组统计：

curl -XPOST ‘192.168.255.143:9200:9200/ customer/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
    "group_by_position": {
      "terms": {
        "field": "position"
      }
    }
  }
}'

如果报以下错误：

需要开启聚合操作

curl -H "Content-Type: application/json" -XPUT '192.168.255.143:9200/customer/_mapping/person' -d '
{
"properties":{
"position":{
"type":"text",
"fielddata":true
}
}
}

它类似于SQL中的下面的语句：
SELECT state, COUNT() FROM customer GROUP BY position ORDER BY COUNT() DESC

聚合嵌套
先按年龄分组，再统计岗位

curl -XPOST ‘192.168.255.143:9200:9200/bank/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
        ]
      },
      "aggs": {
        "group_by_position": {
          "terms": {
            "field": " position"
          }
        }
      }
    }
  }
}'

以上的话就是ElasticSearch中的一些基本操作，要了解更多的ElasticSearch的操作可以参考ElasticSearch的官方文档
https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html