如何获取ES指数每个项的出现次数和doc_count？

Question

我有一个形式的ES索引

{
  "adminfile" : {
    "mappings" : {
      "properties" : {
        "text" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "title" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

字段“title”是字段“text”中找到的字符串的标题。标题不包含任何空格，而文本是普通文本（带空格和点的句子等）。

我想获取索引中的所有术语及其doc_count和/或频率。我在ES文档中找到了这个查询：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html

GET /adminfile/_search
{
    "size": 10,
    "aggs" : {
        "text" : {
            "terms" : {
                "field" : "text.keyword",
                "order" : { "_count" : "asc" },
                "size": 10
            }
        }
    }
}

这将返回所有源，但聚集桶为空。如果我在这个命令中把“text.keyword”改为“title.keyword ”,它确实可以工作，并返回所有标题作为关键字。

为什么它不适用于文本字段？

有更好的命令可以使用吗？我知道这个：

GET /adminfile/_search
{
    "query" : {
        "match" : {"text" : "WordToSearch"}
    },
    "_source":false,
    "aggregations": {
        "keywords" : {
            "significant_text" : {
                "field" : "text",
                "filter_duplicate_text": true,
                "size": 100
            }
        }
    },
    "highlight": {
        "fields": {
            "text": {}
        }
    }
}

工程获得所有的wordToSearch出现在每个文件的索引，计数和频率。有没有办法让这个命令匹配每个doc的每个单词？

编辑:我还尝试将文本字段的名称改为“contenu ”,以防ES不喜欢名称为“text”且类型为“text”的字段。没有效果。

另一种选择可能是使用https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-termvectors.html但it_termvectors仅适用于一个特定ID（或_mtermvectors适用于多个特定ID，在任何情况下都不是所有文档）

编辑2：我意识到ignore_above可能是个问题。作为测试，我尝试将所有文本剪切为200个字符。查询现在正在运行，除了它将整个文本作为键返回，而不是将其剪切为单词。

Answer 1

当您使用字段的< code>keyword版本时，内容被保存为单个大型标记。您认为< code>ignore_above是问题的根源是正确的，因为在您的数据集中，这些标记显然会超过256个字符。

如果您改为跨标记化字段（普通文本字段）聚合，而不是关键字版本，您将获得该字段处理的每个单词（即每个标记）的计数。