Elasticsearch摄取节点（四）——参数修改处理器

其他 2020-01-24 12:40:02 阅读次数: 0

参数修改处理器

第一类主要是对文档中字段的值进行处理或者修改的处理器。此类处理器主要包含。

此类处理器主要包含

1. HTML Strip Processor

2. Lowercase Processor

3. Uppercase Processor

4. Trim Processor

5. Set Processor

6. Gsub Processor

HTML标签处理器(HTML Strip Processor)

处理器作用

此处理器的作用是将字段中的HTML标签移除

可选参数

字段 是否必填 默认值 说明
field 必填 - 需要操作的字段
target_field 非必填 field 需要将处理之后的内容赋值的目标字段，默认情况下将就地更新
ignore_missing 非必填 false 当字段不存在或者为null的时候，处理器是否忽略此数据
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

此处理器的使用方法

{
  "html_strip": {
    "field": "foo"
  }
}

使用_simulate模拟此处理器效果，尝试取出foo字段的HTML标签

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "HTML标签移除",
        "processors": [
            {
                "html_strip": {
                    "field": "foo"
                }
            }
        ]
    },
    "docs": [
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": "<a>foo1<a>",
                "boo": "<a>foo1<a>"
            }
        },
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": "<b>foo2<b>",
                "boo": "<b>foo2<b>"
            }
        }
    ]
}

可以看到foo字段的HTML标签已经去除

{
  "docs" : [
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : "<a>foo1<a>",
          "foo" : "foo1"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T01:29:08.515257Z"
        }
      }
    },
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : "<b>foo2<b>",
          "foo" : "foo2"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T01:29:08.515305Z"
        }
      }
    }
  ]
}

小写处理器(Lowercase Processor)

处理器作用

此处理器的作用是将字段中的字符串转换为其等效的小写形式。

可选参数

字段 是否必填 默认值 说明
field 必填 - 需要操作的字段
target_field 非必填 field 需要将处理之后的内容赋值的目标字段，默认情况下将就地更新
ignore_missing 非必填 false 当字段不存在或者为null的时候，处理器是否忽略此数据
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

此处理器的使用方法

{
  "lowercase": {
    "field": "foo"
  }
}

使用_simulate模拟此处理器效果，尝试取出foo字段的内容转换为小写

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "小写处理器",
        "processors": [
            {
                "lowercase": {
                    "field": "foo"
                }
            }
        ]
    },
    "docs": [
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": "ASDFqweZXC",
                "boo": "ASDFqweZXC"
            }
        }
    ]
}

可以看到foo字段的内容都已经转换为小写

{
  "docs" : [
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : "ASDFqweZXC",
          "foo" : "asdfqwezxc"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T01:35:04.552224Z"
        }
      }
    }
  ]
}

大写处理器(Uppercase Processor)

处理器作用

此处理器的作用是将字段中的字符串转换为其等效的大写形式。

可选参数

字段 是否必填 默认值 说明
field 必填 - 需要操作的字段
target_field 非必填 field 需要将处理之后的内容赋值的目标字段，默认情况下将就地更新
ignore_missing 非必填 false 当字段不存在或者为null的时候，处理器是否忽略此数据
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

此处理器的使用方法

{
  "uppercase": {
    "field": "foo"
  }
}

使用_simulate模拟此处理器效果，尝试将foo字段的内容转换为大写

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "大写处理器",
        "processors": [
            {
                "uppercase": {
                    "field": "foo"
                }
            }
        ]
    },
    "docs": [
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": "asdfqwezxc",
                "boo": "asdfqwezxc"
            }
        }
    ]
}

可以看到foo字段的内容都已经转换为大写

{
  "docs" : [
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : "asdfqwezxc",
          "foo" : "ASDFQWEZXC"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T01:37:11.040605Z"
        }
      }
    }
  ]
}

双端空字符移除处理器(Trim Processor)

处理器作用

此处理器的作用是将字段内容开头和结尾处的空白字符删除。

可选参数

字段 是否必填 默认值 说明
field 必填 - 需要操作的字段
target_field 非必填 field 需要将处理之后的内容赋值的目标字段，默认情况下将就地更新
ignore_missing 非必填 false 当字段不存在或者为null的时候，处理器是否忽略此数据
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

此处理器的使用方法

{
  "trim": {
    "field": "foo"
  }
}

使用_simulate模拟此处理器效果，尝试删除foo字段开头和结尾处的空白字符

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "空字符移除",
        "processors": [
            {
                "trim": {
                    "field": "foo"
                }
            }
        ]
    },
    "docs": [
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": " qwea sdzxc  ",
                "boo": " qweas dzxc "
            }
        }
    ]
}

可以看到foo字段的内容开头和结尾处的空白字符都已经被删除

{
  "docs" : [
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : " qweas dzxc ",
          "foo" : "qwea sdzxc"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T02:03:28.427413Z"
        }
      }
    }
  ]
}

值设置处理器(Set Processor)

处理器作用

此处理器的作用是将指定内容的值设置到指定的字段中。

可选参数

字段 是否必填 默认值 说明
field 必填 - 需要操作的字段
value 必填 - 要为字段设置的值，支持模板片段。
override 非必填 true 处理器将使用预先存在的非空值字段更新字段。当设置为false时，这些字段将不会被操作
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

{
  "description" : "值设置处理器"
  "set": {
    "field": "count",
    "value": 1
  }
}

使用_simulate模拟此处理器效果，尝试设置foo字段的值

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "值设置处理器",
        "processors": [
            {
                "set": {
                    "field": "foo",
                    "value": "默认值"
                }
            }
        ]
    },
    "docs": [
        {
            "_index": "index",
            "_id": "id",
            "_source": {
                "foo": " qwea sdzxc  ",
                "boo": " qweas dzxc "
            }
        }
    ]
}

可以看到foo字段的内容已经被设置为之前确定的值

{
  "docs" : [
    {
      "doc" : {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "id",
        "_source" : {
          "boo" : " qweas dzxc ",
          "foo" : "默认值"
        },
        "_ingest" : {
          "timestamp" : "2019-12-02T02:11:51.905641Z"
        }
      }
    }
  ]
}

该处理器还可用于将数据从一个字段复制到另一个字段。例如

PUT _ingest/pipeline/set_os
{
  "description": "sets the value of host.os.name from the field os",
  "processors": [
    {
      "set": {
        "field": "host.os.name",
        "value": "{{os}}"
      }
    }
  ]
}

POST _ingest/pipeline/set_os/_simulate
{
  "docs": [
    {
      "_source": {
        "os": "Ubuntu"
      }
    }
  ]
}

返回结果

{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "host" : {
            "os" : {
              "name" : "Ubuntu"
            }
          },
          "os" : "Ubuntu"
        },
        "_ingest" : {
          "timestamp" : "2019-11-01T21:54:37.909224Z"
        }
      }
    }
  ]
}

Gsub处理器(Gsub Processor)

处理器作用

通过应用正则表达式和替换来转换字符串字段。如果字段不是字符串，处理器将抛出异常。

可选参数

字段 是否必填 默认值 说明
field 必填 - 要将替换应用到的字段
pattern 必填 - 要替换的模式
replacement 必填 - 要替换匹配模式的字符串
target_field 非必填 field 需要将处理之后的内容赋值的目标字段，默认情况下将就地更新
ignore_missing 非必填 false 当字段不存在或者为null的时候，处理器是否忽略此数据
if 非必填 - 处理器的执行条件逻辑
on_failure 非必填 - 处理器发生异常后执行的逻辑
ignore_failure 非必填 false 是否忽略异常处理
tag 非必填 - 此处理器的标识符。用于调试使用

使用方式

{
    "gsub": {
        "field": "message",
        "pattern": "\\.",
        "replacement": "-"
    }
}

使用_simulate模拟此处理器效果，尝试设置message字段的值中的.替换为-

POST _ingest/pipeline/_simulate
{
    "pipeline": {
        "description": "...",
        "processors": [
            {
                "gsub": {
                    "field": "message",
                    "pattern": "\\.",
                    "replacement": "-"
                }
            }
        ]
    },
    "docs": [
        {
            "_source": {
                "message": "name.time"
            }
        }
    ]
}

返回结果

{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "message" : "name-time"
        },
        "_ingest" : {
          "timestamp" : "2019-12-11T09:39:10.508147Z"
        }
      }
    }
  ]
}

个人水平有限，上面的内容可能存在没有描述清楚或者错误的地方，假如开发同学发现了，请及时告知，我会第一时间修改相关内容。假如我的这篇内容对你有任何帮助的话，
麻烦给我点一个赞。你的点赞就是我前进的动力。

大·风
发布了204 篇原创文章 · 获赞 15 · 访问量 1万+
私信 关注

猜你喜欢

转载自blog.csdn.net/qq330983778/article/details/103357578
今日推荐
富文本编辑器 Quill 2.0 重磅发布，特性、可靠性与开发者体验大幅提升
“开源信徒”周鸿祎开源360智脑大模型
周排行
Ubuntu 14.04 下Fuel6.0安装部署
香港一小巴侧翻致1死16伤 警方：未见机件故障
pikachu--XSS盲打
阅读 深入理解JVM虚拟机笔记一
java.sql.SQLException: ORA-00932: 数据类型不一致: 应为 -, 但却获得 CLOB
oracle delete all object under an user
[LeetCode]20 Valid Parentheses 有效的括号
树形DP求树的直径 【模板】
Context propagation over HTTP in Go
【PAT】（B）1053 住房空置率 (20)*
每日归档
更多
2024-04-18(0)
2024-04-17(5)
2024-04-16(70)
2024-04-15(42)
2024-04-14(0)
2024-04-13(119)
2024-04-12(38)
2024-04-11(14)
2024-04-10(68)
2024-04-09(5)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022