当自定义分析器显式不使用Elasticsearch小写过滤器时，仍在应用该过滤器

Question

我基本上是在尝试禁用小写过滤器，以便能够对文本字段进行区分大小写的匹配。按照索引和分析器文档，我创建了以下不带小写过滤器的映射：

PUT/my_索引

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "char_filter": [
            "html_strip"
          ],
          "filter": [
            "asciifolding"
          ]
        }
      }
    }
  }
}

我启用fielddata，以便在之后检查标记化

放置我的索引/\u映射/\u文档

{
  "properties": {
    "my_field": { 
      "type":     "text",
      "fielddata": true
    }
  }
}

我测试了自定义分析器，以确保它不像预期的那样是小写的

后 /my_index/analyze

{
  "analyzer": "my_custom_analyzer",
  "text": "Is this <b>déjà Vu</b>?"
}

得到以下响应

{
  "tokens": [
    {
      "token": "Is",
      "start_offset": 0,
      "end_offset": 2,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "this",
      "start_offset": 3,
      "end_offset": 7,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "deja",
      "start_offset": 11,
      "end_offset": 15,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "Vu",
      "start_offset": 16,
      "end_offset": 22,
      "type": "<ALPHANUM>",
      "position": 3
    }
  ]
}

太好了，事情并没有像我想的那样变小。现在我试着插入相同的文本，看看会发生什么。

过帐/我的索引/\u文档

{
  "my_field": "Is this <b>déjà Vu</b>?"
}

然后试着查询回来

POST/my\u索引/\u搜索

{
  "query": {
    "regexp": {
      "my_field": "Is.*"
    }
  },
  "docvalue_fields": [
    "my_field"
  ]
}

没有点击率。现在如果我试着降低正则表达式，我得到

POST/my\u索引/\u搜索

{
  "query": {
    "regexp": {
      "my_field": "is.*"
    }
  },
  "docvalue_fields": [
    "my_field"
  ]
}

它返回

{
  "took": 6,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "my_index",
        "_type": "_doc",
        "_id": "6d6PP20BXDCQSINU0RC_",
        "_score": 1,
        "_source": {
          "my_field": "Is this <b>déjà Vu</b>?"
        },
        "fields": {
          "my_field": [
            "b",
            "déjà",
            "is",
            "this",
            "vu"
          ]
        }
      }
    ]
  }
}

所以在我看来，由于只有小写的正则表达式匹配，并且doc值都以小写的形式返回，因此某些地方的事情似乎仍然在变得更低。我在这里做错了什么？

Answer 1

到目前为止，良好的开端！！！

唯一的问题是，您没有将自定义分析器应用于您的字段。把你的映射改成这个，它会让你走得更远。

PUT my_index/_mapping/_doc
{
  "properties": {
    "my_field": { 
      "type":     "text",
      "fielddata": true,
      "analyzer": "my_custom_analyzer"       <-- add this
    }
  }
}