ElasticSearch：给ngrams赋分

Question

我试图使用elasticsearch使用ngrams进行名称搜索匹配，我试图实现的技术如下:
输入：需要与数据库匹配的名称。
输出：来自我的名称数据库的所有潜在名称匹配。

我尝试这样做的方法如下：我将名称拆分为长度为3-5的ngrams。
然后我从数据库中收集所有与这些ngrams匹配的名称。
然后我检查ngrams并按反向频率对它们进行排序，
这意味着普通ngrams将得到最低的分数。
例如，如果我将它用于像“我的公司inc”这样的公司名称，我将给“inc”ngrams最低的分数，因为inc出现在许多公司名称中。

我计算分数的方法是：1/（计算ngram在我所有db中的出现），这样我将有“最强”的ngram作为出现最少的ngram。

我在python脚本中实现了这一点，但我想使用elastic的强大功能为我做同样的事情，
我知道ngram标记器，但有没有方法告诉他做我做的分数？
据我所知，当我现在进行匹配时，它将根据查询中的ngram与他在数据库中的单词中的ngram匹配多少来给结果打分

这是我使用的映射：

{
   "settings": {
       "analysis": {
           "analyzer": {
               "my_analyzer": {
                   "tokenizer": "my_tokenizer"
               }
           },
           "tokenizer": {
               "my_tokenizer": {
                   "type": "ngram",
                   "min_gram": 3,
                   "max_gram": 5,
                   "token_chars": ["letter", "digit"]
               }
           }
       }
   },  
   "mappings": {
       "names": {
           "properties": {
               "name": {
                   "type": "text",
                   "fields": {
                       "keyword": {
                           "type": "keyword",
                           "ignore_above": 256,
                        }
                   },
                   "analyzer": "my_analyzer"
              },
              "id": {
                 "type": "long"
               }
           }
       }
   }                  
}

这是我所做的查询：

GET /names/_search
{
 "query": {
   "match" : { "name" : "my company inc"}
 }
}

Answer 1

您希望使用的查询如下：

{
  "query": {
    "common": {
      "name": {
        "query": "my company inc",
        "cutoff_frequency": 0.001
      }
    }
  }
}

公共术语查询仅基于重要术语（重要ngram）即频率较低的术语返回相关性得分。在这里，文档频率大于0.1%的词将被认为是常用词，不会影响相关性得分。

或者，如果您已经有一个预定义的停止词列表(inc，pvt，ltd)，那么您可以始终使用分析器中的自定义停止词过滤器来过滤它们以生成点击量。

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer",
          "filter": [
            "custom_stop_token_filter"
          ]
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 5,
          "token_chars": ["letter", "digit"]
        }
      },
      "filter": {
        "custom_stop_token_filter": {
          "type": "stop",
          "stopwords": [
            "inc",
            "pvt",
            "ltd"
          ]
        }
      }
    }
  }
}

null