ElasticSearch：为关键字的大小写不敏感搜索添加规范化器

Question

我有一个带有动态创建的“关键字”字段的大型ES索引。我需要对这些启用不区分大小写的搜索。我知道分析器不适用于关键字字段，而规范化器将用于它：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-normalizers.html

有没有一种方法可以动态地向字段/映射添加规范化器？我可以通过关闭索引、添加分析器并重新打开索引，将分析器添加到现有的文本字段中。在添加规范化器时，这似乎不适用于现有索引。除了创建另一个索引来重新索引所有数据之外，还有其他方法可以做到这一点吗？

以下是我的步骤：使用小写规范化器创建测试索引：

curl -XPUT localhost:9200/ganesh_index/ -d '
{
  "settings": {
    "analysis": {
      "normalizer": {
        "useLowercase": {
          "type": "custom",
          "filter": [ "lowercase" ]
        }
      }
    }
  },
  "mappings":{
     "ganesh_type":{
        "properties":{
           "title":{
              "normalizer":"useLowercase",
              "type":"keyword"
           }
        }
     }
  }
}'

现在，我可以根据需要插入和查询：

curl -X PUT localhost:9200/ganesh_index/ganesh_type/1 -d '{"title":"ThisFox.StatusCode1"}'
curl -X PUT localhost:9200/ganesh_index/ganesh_type/2 -d '{"title":"ThisFox.StatusCode2"}'

curl -X POST 'localhost:9200/ganesh_index/_search?pretty' -d '{"query": {"regexp":{"title": "this.*code1"}}}'
{
  "took" : 24,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "ganesh_index",
        "_type" : "ganesh_type",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "title" : "ThisFox.StatusCode1"
        }
      }
    ]
  }
}

但是，如果我的索引已经这样存在：

curl -X PUT localhost:9200/ganesh_index -d '
{
  "settings": {
    "index": {
      "number_of_shards": 2,
      "number_of_replicas": 2
    }
  }
}'

当我插入记录时，我无法稍后添加规范化程序。

curl -XPUT localhost:9200/ganesh_index/?pretty -d '
> {
>   "settings": {
>     "analysis": {
>       "normalizer": {
>         "useLowercase": {
>           "type": "custom",
>           "filter": [ "lowercase" ]
>         }
>       }
>     }
>   },
>   "mappings":{
>      "ganesh_type":{
>         "properties":{
>            "title":{
>               "normalizer":"useLowercase",
>               "type":"keyword"
>            }
>         }
>      }
>   }
> }'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "index_already_exists_exception",
        "reason" : "index [ganesh_index/mg5TckzaR5KZDE-FphTeDg] already exists",
        "index_uuid" : "mg5TckzaR5KZDE-FphTeDg",
        "index" : "ganesh_index"
      }
    ],
    "type" : "index_already_exists_exception",
    "reason" : "index [ganesh_index/mg5TckzaR5KZDE-FphTeDg] already exists",
    "index_uuid" : "mg5TckzaR5KZDE-FphTeDg",
    "index" : "ganesh_index"
  },
  "status" : 400
}

有没有办法为现有索引（在关键字字段上）添加规范化器？

Answer 1

这可以使用动态模板的概念。我们可以定义如下所示的动态映射，将名称为“my\u normalizer”的规范化器应用于未来所有字符串类型的关键字字段。但是，我们需要在创建索引之前将动态设置定义为映射的一部分，以便您可以使用动态模板定义自定义映射，这些映射可以根据匹配条件应用于动态添加的字段：

PUT my-index
{
  "settings": {
    "index": {
      "analysis": {
        "normalizer": {
          "my_normalizer": {
            "type": "custom",
            "char_filter": [],
            "filter": [
              "lowercase"
            ]
          }
        }
      }
    }
  },
  "mappings": {
    "dynamic_templates": [
      {
        "strings": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword",
            "ignore_above": 256,
            "normalizer": "my_normalizer"
          }
        }
      }
    ]
  }
}

Answer 2

目前，Elasticsearch不支持此类活动。即使您这样做了，它也会给我们一条消息。

 {
  "error": {
    "root_cause": [
      {
        "type": "resource_already_exists_exception",
        "reason": "index [category_video_autocomplete_3/FkxOwP_RQMW_L077hYLPJg] already exists",
        "index_uuid": "FkxOwP_RQMW_L077hYLPJg",
        "index": "category_video_autocomplete_3"
      }
    ],
    "type": "resource_already_exists_exception",
    "reason": "index [category_video_autocomplete_3/FkxOwP_RQMW_L077hYLPJg] already exists",
    "index_uuid": "FkxOwP_RQMW_L077hYLPJg",
    "index": "category_video_autocomplete_3"
  },
  "status": 400
}

信息看起来很复杂，但仔细看看就知道了

resource_already_exists_exception

这意味着您要创建的资源已经存在，因此我们不能创建相同的资源，这里的资源意味着名为category\u video\u autocomplete\u 3的索引。

Answer 3

不，您必须重新索引它或创建一个新的映射。