序文
前回の記事で紹介しElasticSearchクラスターとの設置チュートリアルkinabaこの記事それオフDSL文の彼のElasticSearchの観点から、。
ElasticSearch DSLはじめに
ElasticsearchはJSONに基づいて定義され、完全なクエリのDSL(ドメイン固有言語)のクエリを提供します。AST(抽象構文木)クエリとみなさクエリDSLが、それは2つの節で構成されています。
- クエリ句を残す:
クエリのイェ句は、一致、用語または範囲クエリなど、特定の領域に特定の値を見つけること。これらのクエリは、使用を所有することができます。 - 複合クエリ句
のクエリまたはクエリその他の包装葉複雑なクエリの複合句、及び論理的に複数のクエリ(例えば、ブールdis_maxまたはクエリ)を組み合わせる、またはそれらの挙動(例えばconstant_scoreクエリ)を変更するために使用されます。
クエリ句のアクションは、彼らはまだ、クエリコンテキストのコンテキストでフィルタに使用されているかどうかによって異なります。
我々はElasticSearchを使用して、ちょうどリレーショナルデータベースを使用してのように、クエリにDSL文の使用を避けることができないときは、同じSQL構文を学ばなければなりません。我々は良い文法DSLを使用することを学ぶ場合は、将来の使用中のときのJavaクライアントを使用するには、それは非常にシンプルになります呼び出します。
ElasticSearch DSLステートメントの使用
ここでは、最初のDSL文を紹介し、最も一般的なCRUDから始まり、使用するのは簡単です!
まず、新しいデータ
ElasticSearchは、限り、あなたはすることができ、インデックス(索引データベース名)とタイプ(タイプ)を指定して、データを直接追加することができます。あなたがあなた自身の主キーIDを指定することができたときに、新しいでは、あなたはElasticSearch自体によって生成され、指定されない場合があります。
新しいデータコマンドの例:
POST test1/_doc/1
{
"uid" : "1234",
"phone" : "12345678909",
"message" : "qq",
"msgcode" : "1",
"sendtime" : "2019-03-14 01:57:04"
}
図kinaba例:
**注:POSTのTEST1 / POSTのTEST1 / _DOCは、次いで、自己生成のES ESステートメントである場合、主キーIDとして指定され_DOC / 1。**
ここでは、我々もできGET test1/
たりGET test1/_settings
とGET test1/_mapping
設定(オプション設定)とマッピング(データ構造)であるインデックスのステータスを表示します。
第二に、インデックス・ライブラリを作成します
上記の例では、インデックスを作成するために、データライブラリを作成することによって直接渡さが、インデックスはこのライブラリによって作成されていないと自己生成されたESは、それがデフォルトの設定を使用しているため、フィールド構造は(テキストテキストです、友好的ではありませんREINDEXは、(以下に述べる場合を除き、余分なスペース)店、インデックスの断片化とデフォルト値のコピーされます、デフォルトは5と1、スライスのESの数は、作成後に変更することはできませんされたデータ・ワード、 )ので、ここでは、テンプレートを作成するために、データを指定します。
ここでは簡単にES、ESのバージョン6.xのための次のようなデータ構造のデータ構造を説明します。
- コアデータ型の
テキストおよびキーワード - 数値データ型
、長整数、短い、バイト、ダブル、フロート、half_float、scaled_float - 日付データ型の
日付 - ブールデータ型の
ブール - バイナリ・データ型
バイナリ データ型
integer_range、float_range、long_range、double_range、 DATE_RANGE- 複雑なデータ型を編集します
- オブジェクトデータ型
単一JSONオブジェクトのオブジェクト ネストされたデータ・タイプ
JSONのためのオブジェクトのネストされた配列- 地理数据类型编辑
- 地理位置数据类型
geo_point 纬度/经度积分 地理形状数据类型
geo_shape 用于多边形等复杂形状- 专业数据类型编辑
- IP数据类型
ip 用于IPv4和IPv6地址 - 完成数据类型
completion 提供自动完成建议 - 令牌计数数据类型
token_count 计算字符串中令牌的数量
mapper-murmur3
murmur3 在索引时计算值的哈希并将其存储在索引中
mapper-annotated-text
annotated-text 索引包含特殊标记的文本(通常用于标识命名实体) - 渗滤器类型
接受来自query-dsl的查询 - join 数据类型
为同一索引内的文档定义父/子关系 别名数据类型
为现有字段定义别名。多字段编辑
为不同的目的以不同的方式对同一字段建立索引通常很有用。例如,一个string字段可以映射为text用于全文搜索的字段,也可以映射为keyword用于排序或聚合的字段。或者,您可以使用standard分析仪, english分析仪和 french分析仪索引文本字段。
这是多领域的目的。大多数数据类型通过fields参数支持多字段。
上面介绍的字段介绍虽然比较复杂,但是我们常用的几个类型也就是这几种 text、keyword、byte、short、integer、long、float、double、boolean、date
,其中text和keyword都是string类型,选择区分很简单,需要进行分词用text,不需要并且进行排序或聚合的可以用keyword。
关于ES的数据结构就到这里了,我们来进行索引库的创建吧!
新增索引库的命令示例:
PUT test1
{
"settings" : {
"number_of_shards" : 10,
"number_of_replicas" : 1,
"refresh_interval" : "1s"
},
"mappings" : {
"_doc" : {
"properties" : {
"uid" : { "type" : "long" },
"phone" : { "type" : "long" },
"message" : { "type" : "keyword" },
"msgcode" : { "type" : "long" },
"sendtime" : {
"type" : "date",
"format" : "yyyy-MM-dd HH:mm:ss"
}
}
}
}
}
示例图:
注:
- number_of_shards: 是设置的分片数,设置之后无法更改!
- refresh_interval: 是设置es缓存的刷新时间,如果写入较为频繁,但是查询对实时性要求不那么高的话,可以设置高一些来提升性能。可以更改
- number_of_replicas : 是设置该索引库的副本数,建议设置为1以上。
其中这里还有几个重要参数也顺便说一下:
- store: true/false 表示该字段是否存储,默认存储。
- doc_values: true/false 表示该字段是否参与聚合和排序。
- index: true/false 表示该字段是否建立索引,默认建立。
关于这几个字段的取值可以参考一下的示例图:
三、修改数据
其实ES的新增和修改可以看做是一样,存在则修改,不存在则新增,不过这里还是简单的介绍下吧。
修改数据的方式主要有两种,一种是通过主键ID进行修改,这种比较简单,就是和新增一样即可。
另一种则是通过条件进行修改,相当于SQL更新语句的 where条件。
根据主键修改的命令示例:
POST test1/_doc/1
{
"uid" : "1234",
"phone" : "12345678909",
"message" : "qq",
"msgcode" : "1",
"sendtime" : "2019-03-14 01:57:04"
}
根据条件修改的命令示例:
POST test1/_update_by_query
{
"query": {
"term": {
"phone": "12345678909"
}
} ,
"script": {
"source": "ctx._source['message'] = 'xuwujing'"
}
}
原有的数据:
修改后的数据:
注:这里的根据条件进行修改用到的脚本语言,ES除了使用DSl语句之后,使用一些官方定义的脚本语言和SQL语句也能进行操作,脚本语言和SQL语句的操作留到以后在来讲下。
四、删除数据、字段和索引库
ES根据主键删除数据的命令示例是DELETE 索引库/id
,简单实用,但是一定要要加上ID,不然就是删除索引库了!
根据主键删除数据命令示例:
DELETE test1/1
根据条件删除数据的命令示例:
POST test/_delete_by_query
{
"query": {
"term": {
"phone": "12345678909"
}
}
}
当然ES还可以根据条件只删除某一个字段的数据,比如删除字段msgcode的数据。
删除字段数据的命令示例:
POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}
示例图:
查询语句
查询所有
match_all可以查询集群所有索引库的信息,包括一些隐藏索性库的信息。
命令示例:
GET _search
{
"query": {
"match_all": {}
}
}
示例图:
查询索引库所有的数据,命令格式为GET 索引库名称/索引库类型/_search
,也可以不需要索引库类型。
命令示例:
GET test1/_doc/_search
如果根据ID查询某一条数据的话,也比较简单,只需要将上述的_search换成主键ID即可。
命令示例:
GET test1/_doc/2
等值(term)查询
term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)
比如根据手机号进行查询。
命令示例:
GET test1/_doc/_search
{
"query": {
"term": {
"phone": "12345678909"
}
}
}
当然,如果想在一个字段匹配多个值的话,可以使用terms,相当于SQL的in语法。
命令示例:
GET test1/_doc/_search
{
"query": {
"terms": {
"uid": [
1234,
12345,
123456
]
}
}
}
示例图:
注:上述中是没有123456这条数据,这样只是为了做下简单的测试而已。
范围(range )查询
range可以理解为SQL中的><符号,其中gt是大于,lt是小于,gte是大于等于,lte是小于等于。
命令示例:
GET test1/_doc/_search
{
"query": {
"range": {
"uid": {
"gt": 1234,
"lte": 12345
}
}
}
}
存在(exists)查询
exists可以理解为SQL中的exists函数,就是判断是否存在该字段。
这里我们新增一条没有msgcode的字段,然后用exists去查询。
POST test1/_doc/3
{
"uid" : "123456",
"phone" : "12345678909",
"message" : "qq",
"sendtime" : "2019-03-14 01:57:04"
}
存在查询命令示例:
GET test1/_doc/_search
{
"query": {
"exists": {
"field":"msgcode"
}
}
}
示例图:
组合(bool)查询
bool 可以用来合并多个过滤条件查询结果的布尔逻辑,它包含这如下几个操作符:
- must : 多个查询条件的完全匹配,相当于 and。
- must_not ::多个查询条件的相反匹配,相当于 not。
- should : 至少有一个查询条件匹配, 相当于 or。
查询的命令示例:
GET /test1/_search
{
"query": {
"bool": {
"must": {
"term": {
"phone": "12345678909"
}
},
"must_not": {
"term": {
"uid": 12345
}
},
"should": [
{
"term": {
"uid": 1234
}
},
{
"term": {
"uid": 123456
}
}
],
"adjust_pure_negative": true,
"boost": 1
}
}
}
示例图:
模糊(wildcard)查询
wildcard查询相当于SQL语句中的like语法,只不过它查询的数据需要加上*符号。
模糊查询命令示例:
GET /test1/_search
{
"query": {
"wildcard": {
"message":"*wu*"
}
}
}
正则(regexp)查询
regexp可以支持正则查询,比如查询短信内容中的验证码之类的。
下面的这个示例就是查询以xu开头,后面是0-9数字的内容的数据。
正则查询命令示例:
GET /test1/_search
{
"query": {
"regexp": {
"message":"xu[0-9]"
}
}
}
示例图:
查询语句的示例到这里就差不多就结束了,这里在推荐一下kinaba查询的几个小技巧,如图所示:
其它
参考:
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
ElasticSearch个人已经使用一年多了,在学习的过程中也积攒了一些相关资料其,只不过今年特别忙,没有太多时间将其整理成博客进行分享了。说来惭愧,今年写博客的数量有些少了,下半年自己从一个周更博主变成了月更博主了,不过后面若是时间充足的话也会多些一些的,再忙每个月至少也会写一篇 ヾ(◍°∇°◍)ノ゙
ElasticSearch实战系列:
ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程
音乐推荐
オリジナルは、あなたが良い感じている場合、勧告を与えたい、容易ではありません!あなたのサポートが私の文章の最大駆動力です!
著作権:
著者:虚無の領土の
ブログパーク出典:http://www.cnblogs.com/xuwujing
CSDN出典:http://blog.csdn.net/qazwsxpcm
個人ブログ出典:http://www.panchengming.com