Elasticsearch搜索查询返回不同数量的文档

Question

elasticsearch实例的一些背景：

• 一个节点，在一台机器上
• 特定索引由大小为1.23TB的26亿文档组成
• 索引被分成4个碎片。
• 堆大小设置为30 GB
• 服务器有256GB内存和40个内核。
• Elasticsearch（版本1.4.3）是这个服务器上唯一运行的东西

我想返回所有具有特定名称的文档。属性名称已映射为：

"name": {
                    "type": "string",
                    "index": "not_analyzed"
                } 

我尝试过使用不同类型的搜索；过滤器、查询字符串、术语。结果都一样。当前查询如下所示：

    {   "query": {
            "query_string": {
                "default_field" : "name",
                "query": "test_run_435_tc"
            }
        },
        "size" : 10000000
    }

问题是查询在第一次尝试时没有返回正确数量的文档。我知道索引中大约有45000个名为“test_run_435_tc”的文档。

但是当查询第一次运行时，它返回大约5000个文档。如果我直接在对方之后重复查询，返回的文档数量会增加。运行大约3-4个查询后，我在结果中得到正确数量的文档。

我使用elasticsearch py作为客户端。

看起来elasticsearch正在升温，在运行了几次相同的查询之后，elastic返回了正确数量的文档。。

为什么elasticsearch的行为是这样的？这是elasticsearch的正常行为，还是我遗漏了什么？当然，我希望在第一次尝试时得到正确的结果。。

根据评论更新：

“大小”： 10000000源于我不知道索引中有多少同名文档的时候。

当设置"size"： 0并执行查询时，以下是响应：

 {u'_shards': {u'failed': 0, u'successful': 4, u'total': 4},
  u'hits': {u'hits': [], u'max_score': 0.0, u'total': 28754},
  u'timed_out': True,
  u'took': 130}

使用“size”：0再次运行同一查询时，这是响应：

 {u'_shards': {u'failed': 0, u'successful': 4, u'total': 4},
  u'hits': {u'hits': [], u'max_score': 0.0, u'total': 39223},
  u'timed_out': True,
  u'took': 134}

使用“size”：0运行和上面相同的查询，但使用这些html" target="_blank">参数。。。。。？超时=100000

{
"took": 525,
"timed_out": false,
"_shards": {
    "total": 4,
    "successful": 4,
    "failed": 0
},
"hits": {
    "total": 49501,
    "max_score": 0,
    "hits": []
}
}

上面返回49501“hits_total”的响应实际上给出了第一次尝试的正确点击数！

Answer 1

从输出中可以肯定的一点是，您的查询超时了。这可能是由各种原因造成的。我没有使用python客户端，您需要检查您的客户端在建立连接时是否在某处设置了任何全局超时等。

首先还要检查原始查询需要多长时间（删除search_type参数）保留timeout参数。

正如@moliware建议的那样，将查询转换为术语查询以获得更好的性能，并再次检查时间。

这两个活动将让您了解查询时间。

你还需要了解你的要求，你是只需要计数还是你也需要文件。Search_type计数相对较快，如果你只对计数感兴趣，应该使用。

我希望您不会发现一个一次性需要100000个文档的用例。即使要显示，也要分页。

最后，考虑到文档的大小和可供您使用的硬件的大小，我很惊讶您只有一个节点和30gb ram。如果你可以自由使用资源，你应该考虑在同一个服务器上创建更多的节点。将ram限制在32gb以下是能够使用java压缩指针的一个好主意。但由于您有256gb（巨大的）ram，您可以启动更多节点并利用资源。

使用多个节点，您可以重试查询并检查结果。