将ISODate字符串转换为mongoDB本机ISODate数据类型

Question

我的应用程序以JSON格式生成日志。日志如下所示：

{"LogLevel":"error","Datetime":"2013-06-21T11:20:17Z","Module":"DB","Method":"ExecuteSelect","Request":"WS_VALIDATE","Error":"Procedure or function 'WS_VALIDATE' expects parameter '@LOGIN_ID', which was not supplied."}

目前，我正在将前面提到的日志行推入mongoDB。但是mongoDB将日期时间存储为字符串（这是预期的）。现在，我想在这些日志上运行一些数据处理工作，我更愿意将日期时间存储为mongoDB的原生ISODate数据类型。

我可以想到3种方法来做到这一点：

i） 解析每个JSON日志行，将字符串转换为应用程序代码中的ISODate类型，然后插入它。缺点：我必须先解析每一行，然后再将其推到mongoDB，这会有点贵

ii）每次插入后，运行查询，将上次插入的文档的字符串日期时间转换为ISODate，使用

element.Datetime = ISODate(element.Datetime);

缺点：同样昂贵，因为每次插入都要运行一个额外的查询iii）在生成点修改日志，这样就不必在应用程序代码级别进行任何解析，也不必在每次插入后运行更新查询

另外，我很好奇，是否有办法配置mongoDB将datetime字符串自动转换为其本机isodate格式？

TIA公司

编辑：我正在使用pymongo插入json日志

我的文件如下所示：

{"LogLevel"："错误"，"日期时间"："2013-06-21T11:20:17Z"，"模块"："DB"，"方法"："ExecuteSelect"，"请求"："WS_VALIDATE"，"错误"："过程或函数'WS_VALIDATE'需要未提供的参数'@LOGIN_ID'."}

有数百行像上面提到的那样。这就是我将它们插入mongodb的方式：

for line in logfile:
    collection.insert(json.loads(line))

以下内容将解决我的问题：

for line in logfile:
    data = json.loads(line)
    data["Datetime"] = datetime.strptime(data["Datetime"], "%Y-%M-%DTHH:mmZ")
    collection.insert(data)

我想做的是摆脱上面我不得不做的对datetime的额外操作。希望这能澄清问题。

Answer 1

这取决于您推送日志的语言/驱动程序/实用程序。我假设您使用的是mongoimport。

mongoimport不支持ISODate（）。请参阅此问题https://jira.mongodb.org/browse/SERVER-5543ISODate（）不是JSON格式，因此在mongoimport中不受支持。

i） 这种方法似乎更有效。ii）对mongo执行两项操作：插入

{"LogLevel":"error","Datetime":{"$date" : 1371813617000},"Module":"DB","Method":"ExecuteSelect","Request":"WS_VALIDATE","Error":"Procedure or function 'WS_VALIDATE' expects parameter '@LOGIN_ID', which was not supplied."}

上面的JSON应该可以工作。请注意，它是64位而不是32位历元。

Answer 2

另外，我很好奇，是否有办法配置mongoDB将datetime字符串自动转换为其本机isodate格式？

您可能希望为时间戳创建一个Python datetime对象，并使用Pymango插入该对象。这作为MongoDB中的本机日期对象存储在后台。

因此，例如在Python中：

from datetime import datetime
object_with_timestamp = { "timestamp": datetime.now() }
your_collection.insert(object_with_timestamp)

从Mongo shell查询此对象时，将显示一个ISODate对象：

“时间戳”：ISODate（“2013-06-24T09:29:58.615Z”）

Answer 3

看来你已经找到答案了。。。我会坚持：

for line in logfile:
    data = json.loads(line)
    data["Datetime"] = datetime.strptime(data["Datetime"], "%Y-%M-%DTHH:mmZ")
    collection.insert(data)

我有一个类似的问题，但我事先不知道应该在哪里用datetime对象替换它。所以我将我的json信息更改为如下内容：

{"LogLevel":"error","Datetime":{"__timestamp__": "2013-06-21T11:20:17Z"},"Module":"DB","Method":"ExecuteSelect","Request":"WS_VALIDATE","Error":"Procedure or function 'WS_VALIDATE' expects parameter '@LOGIN_ID', which was not supplied."}

并使用以下方式解析json：

json.loads(data, object_hook=logHook)

“logHook”定义为：

def logHook(d):
    if '__timestamp__' in d:
        return datetime.strptime(d['__timestamp__'], "%Y-%M-%DTHH:mmZ")
    return d

这个logHook函数也可以扩展为用elif、elif、...替换许多其他“变量”。

希望这有帮助！