elasticsearch ngrams：为什么匹配的是较短的令牌而不是较长的令牌？

Question

我有一个带有以下映射和分析器的索引：

settings: {
    analysis: {
      char_filter: {
        custom_cleaner: {
          # remove - and * (we don't want them here)
          type: "mapping",
          mappings: ["-=>", "*=>"]
        }
      },
      analyzer: {
        custom_ngram: {
          tokenizer: "standard",
          filter: [ "lowercase", "custom_ngram_filter" ],
          char_filter: ["custom_cleaner"]
        }
      },
      filter: {
        custom_ngram_filter: {
          type: "nGram",
          min_gram: 3,
          max_gram: 20,
          token_chars: [ "letter", "digit" ]
        }
      }
    }
  },
  mappings: {
    attributes: {
      properties: {
        name: { type: "string"},
        words: { type: "string", similarity: "BM25", analyzer: "custom_ngram" }
      }
    }
  }
}

我在索引中有以下2个文档：

“name”：“shirts”,“words”：[“shirt”]

和

“名称”：“t恤”，“单词”:[“t恤”]

我以如下方式执行多拍片查询

"query": {

            "multi_match": {
               "query": "t-shirt",
               "fields": [
                  "words",
                  "name"
               ],
               "analyzer": "custom_ngram"
            }

   }

问题：

衬衫的得分为1.17，而T恤的得分为0.8。那是为什么，我怎样才能做到那件T恤（直接搭配）有更高的分数？

我需要ngrams用于另一个用例，在那里我必须检测包含匹配。（衬衫是在肌肉衬衫，…)所以我不能跳过ngrams，我想。

Answer 1

我认为发生这种情况是因为您使用了standardtokenizer，它将字符串“t-shirt”标记为标记“t”和“shirt”。然而，“t”比最小gram大小短，因此不会从它生成令牌。因此，在每种情况下都得到相同的匹配，但是带有T恤的文档较长，因此得分略低。

通过使用Explain API，您可以获得关于文档为什么会得到它们得到的分数的详细信息。

您确定需要使用ngrams吗？您的示例中，“muscess-shirt”中的“shirt”应该由standardanalyzer处理得很好，它将在连字符上标记。