如何在AWS ElasticSearch的无痛内联脚本中替换字符串而不使用regexp？

Question

文档中“level”字段的类型从“keyword”更改为“short ”,我正在尝试重新索引现有数据，以便能够在Kibana图表中使用它。旧数据包含类似“100%”、“错误”或空字符串“”的值。

我只想在新索引中获取整数。我使用内部重新索引API（添加新行以使代码段更具可读性）：

curl -s -X POST -H 'Content-Type: application/json' https://search-host.us-east-1.es.amazonaws.com/_reindex -d '{
  "source": {
    "index": "old-index"
  },  
  "dest": {
    "index": "new-index"
  },  
  "script": {
    "inline": "
        if (ctx._source.level == \"error\" || ctx._source.level == \"\")
        {
            ctx._source.level = -1
        } else {
            ctx._source.level = Integer.valueOf(ctx._source.level)    )
        }
    "
  }
}'

但是我得到了一个错误:“java.lang.String不能转换为java.lang.Number”，因为在值的末尾有一个“%”符号。

此外，我没有为AWS ElasticSearch启用正则表达式，也不可能像我想的那样。因此，带有replaceAll的变体对我不起作用。例如，如果我有自托管ES，它可能是这样的（没有测试）：/（%）？/。匹配器（doc['level].value）。replaceAll（'$1'）：

但从AWS ES中我看到：

Regexes are disabled. Set [script.painless.regex.enabled] to [true] in elasticsearch.yaml to allow them. Be careful though, regexes break out of Painless's protection against deep recursion and long loops.

是否可以在没有正则表达式的情况下用无痛语言替换字符串？

Answer 1

我试图做同样的事情，我最终会在我的一个索引的字符串字段中进行完整的查找和替换。不幸的是，对我来说也是如此，我无法访问正则表达式。

这是我提出的解决方案，使用了如下的摄取管道：

PUT _ingest/pipeline/my-pipeline-id
{
    "description": "Used to update in place",
    "processors": [
        {
            "grok": {
                "field": "myField",
                "patterns": ["%{PART1:field1}%{REMOVAL}%{PART2:field2}"],
                "pattern_definitions": {
                    "PART1": "start",
                    "REMOVAL": "(toRemove){0,1}",
                    "PART2": ".+"
                },
                "ignore_missing": true
            }
        },
        {
            "script": {
                "lang": "painless",
                "inline": "ctx.myField = ctx.field1 + ctx.field2"
            }
        },
        {
            "script": {
                "lang": "painless",
                "inline": "ctx.remove('field1'); ctx.remove('field2')"
            }
        }
    ]
}

然后运行它(我已经用查询更新过了)

POST /index/type/_update_by_query?pipeline=my-pipeline-id
{
    "query": {
        "match": {
            "id": "123456789"
        }
    }
}

< li>Grok调试器 < li>Grok处理器 < li >通过查询API更新 < li >如何使用Logstash Grok过滤器提取模式

我使用的是ES 5.5。版本6的一些语法已更改，但过程保持不变。

Answer 2

"script": {
    "lang":"painless",
    "source": """

      //function declaration
      String replace(String word, String oldValue, String newValue) {
        String[] pieces = word.splitOnToken(oldValue);
        int lastElIndex = pieces.length-1;
        pieces[lastElIndex] = newValue;
        def list = Arrays.asList(pieces);
        return String.join('',list);
      }

      //usage sample
      ctx._source["date"] = replace(ctx._source["date"],"+0000","Z");

    """
}