Pandas '.to_pydatetime（）' 在 DataFrame 内不起作用

Question

我有像'03-21-2019'这样的字符串，我想将它们转换为本机Python datetime对象：即datetime.datetime类型。通过熊猫转换很容易：

import pandas as pd
import datetime as dt

date_str = '03-21-2019'
pd_Timestamp = pd.to_datetime(date_str)
py_datetime_object = pd_Timestamp.to_pydatetime()
print(type(py_datetime_object))

与结果

<class 'datetime.datetime'>

这正是我想要的，因为我想通过从其中一个减去另一个来计算timedelta，这在本机Pythondatetime中定义得非常好。datetime类。但是，我的数据在一个＜code＞pd.DataFrame＜/code＞中。当我尝试以下代码时：

import pandas as pd
import datetime as dt

df = pd.DataFrame(columns=['Date'])
df.loc[0] = ['03-21-2019']
df['Date'] = df['Date'].apply(lambda x:
                              pd.to_datetime(x).to_pydatetime())
print(type(df['Date'].iloc[0]))

结果是

<class 'pandas._libs.tslibs.timestamps.Timestamp'>

这是错误的类型，我无法弄清楚为什么只评估lambda表达式的一部分（即string-to-pandas-Timestamp），而不是最后一部分（即pandas-Timestamp-to-datetime.datetime）。如果我显式定义函数，而不是使用lambda表达式，它也不起作用：

import pandas as pd
import datetime as dt


def to_native_datetime(date_str: str) -> dt.datetime:
    return pd.to_datetime(date_str).to_pydatetime()


df = pd.DataFrame(columns=['Date'])
df.loc[0] = ['03-21-2019']
df['Date'] = df['Date'].apply(to_native_datetime)
print(type(df['Date'].iloc[0]))

结果与以前相同。它肯定在做函数的一部分，因为结果不再是字符串。但是我想要原生的Python datetime.datetime对象，但我看不到任何方法。这看起来像是熊猫中的一个错误，但我当然愿意将其视为我的用户错误。

为什么我不能获取本机日期时间。datetime对象来自熊猫。DataFrame是字符串还是列？

我看了这个帖子和这个帖子，但是他们都没有回答我的问题。

[编辑]：这里有一些更奇怪的事情：

import pandas as pd
import datetime as dt


def to_native_datetime(date_str: str) -> dt.datetime:
    return dt.datetime.strptime(date_str, '%m-%d-%Y')


df = pd.DataFrame(columns=['Date'])
df.loc[0] = ['03-21-2019']
df['Date'] = df['Date'].apply(to_native_datetime)
print(type(df['Date'].iloc[0]))

在这里，我甚至没有使用熊猫来转换字符串，我仍然得到一个

<class 'pandas._libs.tslibs.timestamps.Timestamp'>

出来吧！

非常感谢您抽出宝贵时间接受采访！

[进一步编辑]：显然，在这个线程中，在Nehal J Wani的回答中，当您分配到＜code＞pd.DataFrame时，＜code＞pandas＜/code＞会自动转换回其原始日期时间格式。这不是我想听到的，但显然，当我读出＜code＞pd.DataFrame

Answer 1

根据你的实际目标，你有几个没有直接提到的选项。

1)如果您有一个静态datetime对象或一列(pandas)时间戳，并且您愿意处理一个Timedelta (pandas)的Pandas版本。_ libs . ts libs . time deltas . time delta )，可以在pandas中直接做减法:

df = pd.DataFrame(columns=['Date'])
df.loc[0] = [pd.to_datetime('03-21-2019')]
df.loc[:, 'Offset'] = pd.Series([datetime.now()])
df.loc[:, 'Diff1'] = df['Offset'] - df['Date']
df.loc[:, 'Diff2'] = df['Date'] - datetime.now()

2） 如果您不关心数据帧，但愿意处理列表/numpy数组，则可以通过对序列而不是单个元素进行操作，将日期时间转换为python原生日期时间。下面，arr是一个numpy。日期时间的ndarray。datetime对象。您可以使用列表（arr）将其更改为常规的日期时间列表：

arr = df['Date'].dt.to_pydatetime()

Answer 2

多亏了莎拉

arr_date = df['Date'].dt.to_pydatetime()
df['Date']= pd.Series(arr_date, dtype=object)

例子：

import pandas as pd
from datetime import datetime

df = pd.DataFrame({"date": [datetime(2021, 8, 28, 4, 10), datetime(2021, 8, 28, 4, 10)]})
df.dtypes

#   date    datetime64[ns]
#   dtype: object

arr_date = df["date"].dt.to_pydatetime()
df["date"] = pd.Series(arr_date, dtype="object")
df.dtypes

#   date    object
#   dtype: object

df.iloc[0,0]

# datetime.datetime(2021, 8, 28, 4, 10)