Python numpy：无法将datetime64 [ns]转换为datetime64 [D]（与Numba一起使用）

Question

我想将datetime数组传递给Numba函数（无法向量化，否则会很慢）。我了解Numba支持numpy.datetime64。但是，它似乎支持datetime64
[D]（日期精度），但不支持datetime64 [ns]（毫秒精度）（我很难学到：是否已记录？）。

我试图将datetime64 [ns]转换为datetime64 [D]，但似乎找不到方法！有任何想法吗？

我用下面的最少代码总结了我的问题。如果您运行的testdf(mydates)是datetime64
[D]，则可以正常运行。如果运行testdf(dates_input)datetime64
[ns]，则不会。请注意，此示例只是将日期传递给Numba函数，该函数尚未执行任何操作。我尝试将dates_input转换为datetime64
[D]，但是转换不起作用。在我的原始代码中，我从SQL表读取到pandas数据框，并且需要一列将每个日期的日期更改为15日。

import numba
import numpy as np
import pandas as pd
import datetime

mydates =np.array(['2010-01-01','2011-01-02']).astype('datetime64[D]')
df=pd.DataFrame()
df["rawdate"]=mydates
df["month_15"] = df["rawdate"].apply(lambda r: datetime.date( r.year, r.month,15 ) )

dates_input = df["month_15"].astype('datetime64[D]')
print dates_input.dtype # Why datetime64[ns] and not datetime64[D] ??


@numba.jit(nopython=True)
def testf(dates):
    return 1

print testf(mydates)

如果运行，我得到的错误testdf(dates_input)是：

numba.typeinfer.TypingError: Failed at nopython (nopython frontend)
Var 'dates' unified to object: dates := {pyobject}

Answer 1

Series.astype将所有类似日期的对象转换为datetime64[ns]。要转换为datetime64[D]，请values在调用之前使用获取NumPy数组astype：

dates_input = df["month_15"].values.astype('datetime64[D]')

请注意，NDFrames（例如Series和DataFrames）只能将类似日期时间的对象保存为dtype对象datetime64[ns]。将所有日期时间喜欢项自动转换为通用dtype可以简化后续日期计算。但是，这使得不可能datetime64[s]在DataFrame列中存储
对象。熊猫的核心开发人员Jeff
Reback解释说，

“我们不允许直接转换，因为它太复杂了，无法在内部保留除datetime64 [ns]以外的任何东西（根本没有必要）。”

另请注意，即使df['month_15'].astype('datetime64[D]')具有dtype datetime64[ns]：

In [29]: df['month_15'].astype('datetime64[D]').dtype
Out[29]: dtype('<M8[ns]')

当您遍历系列中的项目时，会得到pandasTimestamps而不是datetime64[ns]s。

In [28]: df['month_15'].astype('datetime64[D]').tolist()
Out[28]: [Timestamp('2010-01-15 00:00:00'), Timestamp('2011-01-15 00:00:00')]

因此，尚不清楚Numba确实有问题datetime64[ns]，也可能只是有问题Timestamps。抱歉，我无法检查-我没有安装Numba。

但是，尝试一下可能会有用

testf(df['month_15'].astype('datetime64[D]').values)

因为df['month_15'].astype('datetime64[D]').values确实是dtype的NumPy数组datetime64[ns]：

In [31]: df['month_15'].astype('datetime64[D]').values.dtype
Out[31]: dtype('<M8[ns]')

如果可行，那么您不必将所有内容都转换为datetime64[D]，只需要将NumPy数组（而不是Pandas Series）传递给testf。