通过python将弹性数据转储到csv或任何NOSQL中

Question

众所周知，由于连接错误问题，我们无法从elasticsearch中获取超过10000行的python行。我想要从我的弹性簇中获取两个小时的数据，并且每5分钟要进行10000次观测。

1.）有什么方法可以将elasticsearch中的数据直接转储到csv或计数超过10000的某些Nosql数据库中。

我用python编写代码。

我正在使用Elasticsearch版本5

Answer 1

尝试以下代码进行滚动查询

from elasticsearch import Elasticsearch, helpers

    es = Elasticsearch()
    es_index = "your_index_name"
    documento = "your_doc_type"


    body = {
            "query": {
            "term" : { "user" : user } 
                 }
            }

    res = helpers.scan(
                    client = es,
                    scroll = '2m',
                    query = body, 
                    index = es_index)