如何在熊猫read_csv功能中过滤负载行？

Question

如何使用pandas筛选要加载到内存中的CSV行？这似乎是一个应该在read\u csv中找到的选项。我错过什么了吗？

示例：我们有一个带有时间戳列的CSV，我们只想加载时间戳大于给定常量的行。

Answer 1

如果过滤范围是连续的（通常与时间（戳记）过滤器一样），那么最快的解决方案是硬编码行范围。只需将skiprows=range（1，开始行）与nrows=end\u行参数组合即可。然后导入需要几秒钟，而接受的解决方案需要几分钟。考虑到导入时间的节省，对初始起始行进行一些实验并不是一个巨大的成本。请注意，我们使用范围（1，…）保留了标题行。

Answer 2

在read\u csv的上下文中，我没有找到一种直接的方法来做这件事。但是，read\u csv返回一个数据帧，可以通过按布尔向量选择行来过滤数据帧df[bool\u vec]：

filtered = df[(df['timestamp'] > targettime)]

这是选择df中的所有行（假设df是任何数据帧，例如读取_csv调用的结果，该调用至少包含一个datetime列timestamp），其中timestamp列中的值大于targettime的值。类似的问题。

Answer 3

在将CSV文件加载到熊猫对象之前，没有筛选行的选项。

您可以加载文件，然后使用df[df['field']进行过滤

import pandas as pd
iter_csv = pd.read_csv('file.csv', iterator=True, chunksize=1000)
df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv])

您可以根据可用内存更改chunksize。更多详情请见此处。