为什么用Edge Ngram analyzer进行弹性搜索时的补全暗示器比默认的索引大小多15到17倍

Question

我正在实现多个字段的完成建议，有字母数字和冒号(AA:890090:XYZ:9090)。当我使用缺省分析器完成建议（简单分析器），我不能得到建议(AA:890)，因为简单分析器标记字母表只。为了克服这个问题，我们使用了edge ngram analyzer，它解决了建议的问题，但索引大小比默认的analyzer多15到17倍。Foreg.默认分析器的索引大小约为3GB，而ngram分析器的索引大小为50 GB。

 {
  "settings": {
    "analysis": {
      "filter": {
        "ngram_filter": {
          "type": "edge_ngram",
          "min_gram": 3,
          "max_gram": 40
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "ngram_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "doc": {
      "properties": {
        "field1Suggest": {
          "type": "completion",
          "analyzer": "ngram_analyzer",
          "search_analyzer": "whitespace"
        },
        "field2Suggest": {
          "type": "completion",
          "analyzer": "ngram_analyzer",
          "search_analyzer": "whitespace"
        }
      }
    }
  }
}

Answer 1

您可以检查analyze终结点以查看会发生什么。当进入多个单词的内容时，术语的数量大大增加。下面的行已经可以创建12个术语。

POST /posts/_analyze
{
  "explain": true,
  "field": "field1Suggest",
  "text": "green yellow red"
}

输出给出以下术语：

gre yel red
gre yell red
gre yello red
gre yellow red
gree yel red
gree yell red
gree yello red
gree yellow red
green yel red
green yell red
green yello red
green yellow red