是否可以在 Elasticseach Painless 脚本中转换 JSON 数据，并对其执行进一步的操作？

Question

我们有一个大型的 JSON 格式文档语料库，可以搜索以查找模式和历史趋势。Elasticsearch似乎非常适合这个问题。第一个技巧是文档是数以万计的“嵌套”文档（带有标题）的集合。第二个技巧是这些嵌套文档表示具有不同类型的数据。

为了适应这种情况，所有值字段都已“编码”为字符串数组，因此单个整数值已存储在 JSON 中为“[\”1\“]”，浮点数表平展为“[\”123.45\“、\”678.9\“,...]”等。（我们也有字符串数组，不需要转换。虽然这很尴尬，但我认为这将是一个很好的折衷方案，因为Elasticsearch中涉及的其他所有内容似乎都有效。

这里的特殊问题是，这些存储的数据值可能表示一个位域，我们可能需要从中检查一个位的状态。由于此字段将存储为单元素字符串数组，如“[\”14657\“]，我们需要将其转换为单个整数，然后将其多次位移到所需的位（或者应用掩码，如果这样的函数可用）。

通过Elasticsearch，我发现我可以嵌入“无痛”脚本，但示例各不相同，我还没有找到一个可以显示如何将任意长度的字符串数组数据字段转换为适当类型的脚本，以供进一步比较。这是我的查询脚本。

{
  "_source" : false,
  "from" : 0, "size" : 10,
  "query": {
    "nested": {
      "path": "Variables",
      "query": {
        "bool": {
          "must": {
            "match": {"Variables.Designation": "Big_Long_Variable_Name"}
          },
          "must_not": {
            "match": {"Variables.Data": "[0]"}
          },
          "filter": {
            "script": {
              "script": {
                "source":
                "
                  def vals = doc['Variables.Data'];
                  return vals[0] != params.setting;
                ",
                "params": {
                  "setting": 3
                }
              }
            }
          }
        }
      },
      "inner_hits": {
        "_source": "Variables.Data"
      }
    }
  }
}

我需要以某种方式将＜code＞vals＜/code＞变量转换为整数数组，提取第一个值，执行一些位运算，并进行比较以返回true或false。在本例中，我希望能够将“设置”设置为等于我要检查开/关的位位置。

我已经通过 Elasticsearch 完成了练习，发现我需要将 Variables.Data 字段设置为关键字，以便搜索其中的特定值。我意识到这偏离了Elasticsearch的意图，但出于其他原因，我仍然认为这可能是最好的解决方案。我创建了一个新索引，并重新导入了我的测试文档，索引大小增加了约 30%。这是我愿意做出的妥协，如果我能做到这一点的话。

我在无痛中有什么工具来完成这个工作？(或者说，我试图用这个工具来做这件事是不是疯了？)

Answer 1

我建议您在 elasticsearch 中尽可能（甚至当没有）提供的类型中对数据进行编码，以充分利用无痛。例如，对于位字符串，您可以将它们编码为1和0的数组，以便使用Painless进行更轻松的操作。

在我看来，无痛仍然很原始。很难调试。很难阅读。很难维护。而且，在无痛中拥有大功能是一个可怕的想法。

为了回答您的问题，您基本上需要使用painless解析数组字符串，并将其放在可用的数据类型中，以便进行所需的比较。例如，对于列表，您可以使用split函数，然后手动将结果中的每个项设置为int、float、string等。。。

在将其添加到脚本字段之前，使用执行API测试小块：

POST /_scripts/painless/_execute
{
  "script": {
    "source": """
    ArrayList arr = []; //to start with
    // use arr.add(INDEX, VALUE) to add after parsing
    """,
    "params": {
      "foo": 100.0,
      "bar": 1000.0
    }
  }
}

另一方面，如果您将数据保存在ElasticSearch提供的数据类型中(请注意，ElasticSearch支持在文档中保存列表)，那么这项任务会轻松得多。

例如，不使用my_doc.foo = "[\"123.45\ "，\"678.9\ "，...]"作为以后要解析的字符串，为什么不保存为原生的floats列表而改为像my_doc.foo = [123.45，678.9，...]?

这样，您就避免了解析文本文档所需的不必要的代码。