从ElasticSearch读取数据时出现日期格式问题

Question

我正在从弹性搜索中读取数据。当我在kibana上可视化日期格式时，它显示日期8月5，2020 @ 23：00：00.000 =

我用pyspark将索引的内容收集到一个数据帧中，如果有任何解决方案，我可以在scala中完成

'from elasticsearch import Elasticsearch from pandasticsearch import Select

es = Elasticsearch（['http：//localhost：9200']，timeout=600） documents = es.search（index='sub1'，body={}）

pandas_df = Select.from_dict（文档）.to_pandas（） print（pandas_df） '

显示日期格式不对，怎么解决？有帮助吗？谢谢你

Answer 1

1.596665e 12 等于 1596665000000 这是一个 unix 毫秒时间戳，对应于 2020 年 8 月 5 日星期三晚上 10：03：20 在 GMT 中。

您基本上有3个选项：

> < li>

使用< code>script_field将< code>ts解析/转换为人类可读的日期。请注意，您需要从响应b/c中提取脚本字段，它们不是< code>_source的一部分。

在获取文档之后，将它们加载到df之前，转换时间戳(最好是在循环/列表理解/映射中)。

使用已转换的时间戳重新索引数据。这可以从＜code＞_update

更新

第2点的执行情况

from elasticsearch import Elasticsearch
from datetime import datetime as dt


def convert_ts(hit):
    hit = hit['_source']

    try:
        ts_from_doc = hit.get('date_field', None)

        if not ts_from_doc:
            raise ValueError('`date_field` not found')

        # incoming as millisec so convert to sec
        as_date = dt.fromtimestamp(
            int(ts_from_doc / 1000.0)
        ).strftime('%Y-%m-%d %H:%M:%S')

        hit['date_field_as_date'] = as_date

    except Exception as e:
        print(e)

    return hit


es = Elasticsearch(['http://localhost:9200'], timeout=600)
documents = es.search(index='sub1', body={})['hits']['hits']
documents = [convert_ts(doc) for doc in documents]

print(documents)

# pandas etc ...