弹性搜索中的edge_ngram标记器问题

Question

我正在使用edge ngram标记器来提供部分匹配。我的文件看起来像

Name
Labson series LTD 2014
Labson PLO LTD 2014A
Labson PLO LTD 2014-I
Labson PLO LTD. 2014-II

我的映射如下

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "autocomplete": {
          "tokenizer": "autocomplete",
          "filter": [
            "lowercase"
          ]
        },
        "autocomplete_search": {
          "tokenizer": "lowercase"
        }
      },
      "tokenizer": {
        "autocomplete": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 40,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  },
  "mappings": {
    "doc": {
      "properties": {
        "title": {
          "type": "string",
          "analyzer": "autocomplete",
          "search_analyzer": "autocomplete_search"
        }
      }
    }
  }
}

PUT my_index/doc/1
{
  "title": "Labson Series LTD 2014" 
}

PUT my_index/doc/2
{
  "title": "Labson PLO LTD 2014A" 
}


PUT my_index/doc/3
{
  "title": "Labson PLO LTD 2014-I" 
}


PUT my_index/doc/4
{
  "title": "Labson PLO LTD. 2014-II" 
}

以下查询给了我3个正确的文档（Labson PLO LTD 2014A，Labson PLO LTD 2014-I，Labson PLO LTD.2014-II）

GET my_index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "labson plo", 
        "operator": "and"
      }
    }
  }
}

但是当我输入Labson PLO 2014A时，它会给我0个文档

GET my_index/_search
{
  "query": {
    "match": {
      "title": {
        "query": "Labson PLO 2014A", 
        "operator": "and"
      }
    }
  }
}

我希望这将返回1个文档Labson PLO LTD 2014A，但出于某种原因，它似乎没有索引令牌中的数字。让我知道，如果我错过了什么东西在这里。

Answer 1

在您的autocomplete\u搜索中使用的是lowercasetokinzer。它同时执行字母标记器和小写标记过滤器的功能。

https://www.elastic.co/guide/en/elasticsearch/reference/2.3//analysis-lowercase-tokenizer.html

现在让我们看看字母标记器的作用。

每当遇到非字母字符时，字母标记器就会将文本分解为术语。

https://www.elastic.co/guide/en/elasticsearch/reference/master/analysis-letter-tokenizer.html

所以在你的情况下，当你询问。

“查询”：“Labson PLO 2014A”，

这个查询实际上变成了

“标题：拉布森标题：巴解组织标题：a”

自2014年字母标记器下降以来。现在，索引标记不包含仅包含字母a的标记。这就是你没有得到任何结果的原因。

你可以在kibana中这样分析你的查询

POST my_index/_validate/query?explain
{
  "query": {
    "match": {
      "title": {
        "query": "Labson PLO 2014a", 
        "operator": "and"
      }
    }
  }
}

你会看到2014年正在下降。从最后的查询。

还要查看字母标记器生成的内容，请使用以下查询

POST _analyze
{
  "tokenizer": "letter",
  "text": "Labson PLO LTD 2014a"
}