大熊猫read_csv

Question

我正在读取一个包含多个datetime列的csv文件。我需要在读取文件时设置数据类型，但datetimes似乎是个问题。例如：

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = ['datetime', 'datetime', 'str', 'float']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

运行时出现错误：

不理解数据类型"datetime"

通过pandas在事实之后转换列。to_datetime（）不是一个选项，我不知道哪些列将成为datetime对象。这些信息可以更改，并且来自于通知我的数据类型列表的任何信息。

或者，我尝试用numpy.genfromtxt加载csv文件，在该函数中设置dtype，然后转换为pandas.dataframe但它会混淆数据。任何帮助都非常感谢！

Answer 1

您可以尝试传递实际类型而不是字符串。

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

但是如果没有你的任何数据来修补的话，这将是很难诊断的。

实际上，您可能希望pandas将日期解析为时间戳，因此可能是：

pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=True)

Answer 2

有一个parse_dates参数用于read_csv，它允许您定义要视为日期或日期时间的列的名称：

date_cols = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=date_cols)

Answer 3

没有为read_csv设置datetime dtype，因为csv文件只能包含字符串、整数和浮点数。

将dtype设置为datetime将使熊猫将datetime解释为对象，这意味着您最终将得到一个字符串。

熊猫。read_csv（）函数有一个名为parse_dates

使用此功能，您可以使用默认的date\u解析器（dateutil.parser.parser）动态地将字符串、浮点或整数转换为datetime

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = {'col1': 'str', 'col2': 'str', 'col3': 'str', 'col4': 'float'}
parse_dates = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes, parse_dates=parse_dates)

这将导致panda将col1和col2作为字符串读取，它们很可能是（“2016-05-05”等），读取字符串后，每列的日期解析器将对该字符串进行处理，并返回函数返回的任何内容。

熊猫。read_csv（）函数还有一个名为date\u parser的关键字参数

将此设置为lambda函数将使该特定函数用于解析日期。

你必须给它函数，而不是函数的执行，因此这是正确的

date_parser = pd.datetools.to_datetime

这是不正确的：

date_parser = pd.datetools.to_datetime()

pd。日期工具。to_datetime已重新定位到date\u parser=pd。截止日期时间

感谢@stackoverYC