弹性搜索：查询以获取所有元素

Question

我无法获得所有项目，达到的最大大小为：10000。谢谢

错误：[query_phase_execution_exception] 结果窗口太大，从大小必须小于或等于：[10000] 但为 [90000]。请参阅滚动 API，了解请求大型数据集的更有效方法。可以通过更改 [index.max_result_window] 索引级别参数来设置此限制。

知道我该怎么解决吗？

GetTweets: function (callback) {
        client.search({
            index: 'twitter',
            type: 'tweet',
            size:10000,
            body: {
                query: {
                    "query": {
                        "match_all": {}
                    }
                }
            }
        }, function (err, resp, status) {
            callback(err,resp);
        });
    },

Answer 1

Elasticsearch的默认功能是不要在10000个窗口后立即获取数据，即。尺寸：10000以上。请参阅此处的滚动 api，由于该限制，您会收到以下错误。

结果窗口太大，从大小必须小于等于：[10000]

尝试滚动 API，例如，

curl -XGET 'localhost:9200/twitter/tweet/_search?scroll=1m' -d '
{
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    }
}
'

上述请求的结果包括一个_scroll_id，应将其传递给滚动 API 以检索下一批结果。

curl -XGET  'localhost:9200/_search/scroll'  -d'
{
    "scroll" : "1m", 
    "scroll_id" : "c2Nhbjs2OzM0NDg1ODpzRlBLc0FXNlNyNm5JWUc1" 
}
'

注意：我使用了 python 和 php 版本的 elasticsearch client api。滚动 API 真的很棒，并且非常灵活地使用它获取数据集。

Answer 2

search_after可用于应用分页。比滚动 API 更高效

GET twitter/_search
{
    "size": 10,
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    },
    "search_after": [1463538857, "654323"],
    "sort": [
        {"date": "asc"},
        {"tie_breaker_id": "asc"}
    ]
 }

ES 文档：它与滚动 API 非常相似，但与它不同的是，search_after 参数是无状态的，它始终针对最新版本的搜索器进行解析