Scala保存数组在ElasticSearch

Question

我在我的数据框中有一个字段，其中包含我转向JSON数组字符串的聚合值列表。当我试图将我的数据帧保存到ElasticSearch时，我得到这个错误：

组织。弹性搜索。hadoop。RestEsHadoopRemoteException:mapper_parsing_exception:[userSegments]的对象映射试图将字段[userSegments]解析为对象，但找到了一个具体值

下面是我的列用户的一个例子

{{"segmentID":"c42cc7d7-b2c6-44fa-bc1e-edd8854f2590","segmentName":"Women"},{"segmentID":"cb5b0e7b-cf7c-4395-82a3-4076075d3e6d","segmentName":"Mode"}}

以下是我的索引映射：

"userSegments": {
          "properties": { 
           "segmentID": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
                }
            },           
            "segmentName": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        }

我已经检查过了，我所有的记录看起来都像提供的记录，或者有一个空，所以没有提供给ES的数据类型的混合。

你知道我该怎么处理这个问题吗？

非常感谢Matthieu

Answer 1

对于这些映射，这应该是可行的：

PUT /<your-index>/_doc/doc-1
{
  "userSegments": [
    {
      "segmentID": "c42cc7d7-b2c6-44fa-bc1e-edd8854f2590",
      "segmentName": "Women"
    },
    {
      "segmentID": "cb5b0e7b-cf7c-4395-82a3-4076075d3e6d",
      "segmentName": "Mode"
    }
  ]
}

因此，您需要检查获取数据框架并构建弹性查询的代码是否在做不同的事情。

您的错误强烈表明您的代码正在将数据解析为字符串：

PUT /<your-index>/_doc/doc-2
{
  "userSegments": """[{
      "segmentID": "c42cc7d7-b2c6-44fa-bc1e-edd8854f2590",
      "segmentName": "Women"
    },
    {
      "segmentID": "cb5b0e7b-cf7c-4395-82a3-4076075d3e6d",
      "segmentName": "Mode"
    }]"""
}

您应该尝试从您的数据构建一个实际的JSON数组，正如我的第一个演示。