6.5 GB文件上的Pandas read_csv消耗超过170GB的RAM

Question

我想提出来，只是因为这太奇怪了。也许韦斯有一些想法。该文件非常规则：1100行x~3M列，数据以制表符分隔，仅由整数0、1和2组成。显然这不是预期的。

如果我如下所示预填充数据帧，它会消耗大约26GB的RAM。

h = open("ms.txt")
header = h.readline().split("\t")
h.close()
rows=1100
df = pd.DataFrame(columns=header, index=range(rows), dtype=int)

系统信息：

• python 2.7.9
• ipython 2.3.1
• numpy 1.9.1
• 熊猫0.15.2

欢迎任何想法。

Answer 1

我今天在处理3 GB数据时遇到了类似的问题，我只是对我的编码风格做了一点点改变，比如我在代码下面使用了file.read()和file.readline()方法，代码下面一次只在ram中加载一行

import re

df_list = []

with open("ms.txt", 'r') as f:
    for line in f:
        #process(line)
        line = line.strip()
        columns = re.split("\t", line, maxsplit=4) # you should modify these according to your split criteria
        df_list.append(columns)

下面是将数据转换为pandas数据帧的代码。

import pandas as pd
df = pd.DataFrame(df_list)# here you will have to modify according to your data frame needs

Answer 2

在小规模上尝试您的代码，我注意到即使您设置了dtype=int，您实际上最终在生成的数据框中使用dtype=object。

header = ['a','b','c']
rows = 11
df = pd.DataFrame(columns=header, index=range(rows), dtype=int)

df.dtypes
a    object
b    object
c    object
dtype: object

这是因为即使您为pd.read_csv函数提供了列为 dtype=int 的指令，它也无法覆盖最终由列中的数据确定的 dtype。

这是因为熊猫与numpy和numpy dtypes紧密耦合。

问题是，在您创建的数据帧中没有数据，因此numpy默认数据为< code>np。NaN，它不适合整数。

这意味着numpy会混淆并默认为dtype是对象。

与将dtype设置为integer或float相比，将dtype设置为< code>object意味着内存消耗和分配时间方面的开销很大。

df = pd.DataFrame(columns=header, index=range(rows), dtype=float)

这很好，因为＜code＞是np。NaN可以生活在一个浮动中。这产生

a    float64
b    float64
c    float64
dtype: object

并且应该占用更少的内存。

关于dtype: Pandas read_csv low_memory和dtype选项的详细信息，请参见这篇相关的帖子