pandas groupby与sum（）在大型csv文件上？

Question

我有一个大文件（约19GB），我想加载到内存中以对某些列执行聚合。

该文件如下所示：

id, col1, col2, col3, 
1 ,  12 , 15 , 13 
2 ,  18 , 15 , 13 
3 ,  14 , 15 , 13 
3 ,  14 , 185 , 213

请注意，在加载到数据帧后，我正在使用列（id，col1）进行聚合，还请注意，这些键可能会连续重复几次，例如：

3 ,  14 , 15 , 13 
3 ,  14 , 185 , 213

对于小文件，以下脚本可以完成此工作

import pandas as pd
data = pd.read_csv("data_file", delimiter=",")
data = data.reset_index(drop=True).groupby(["id","col1"], as_index=False).sum()

但是，对于大文件，我在读取csv文件时需要使用chunksize来限制加载到内存中的行数：

import pandas as pd
data = pd.read_csv("data_file", delimiter=",", chunksize=1000000)
data = data.reset_index(drop=True).groupby(["id","col1"], as_index=False).sum()

在后一种情况下，如果将（id，col1）相似的行拆分到不同的文件中，则会出现问题。我该如何处理？

编辑

正如@EdChum指出的那样，有一个潜在的解决方法，即 不只是将groupby结果附加到新的csv并读回并再次执行聚合，直到df大小不变。

但是，这有一个最坏的情况，无法处理，即：

当所有文件（或内存无法处理的足够多的文件）最后都具有相同的有问题的相似对象（id，col1）时。 这将导致系统返回MemoryError

Answer 1

首先，你可以通过读取CSV选与众不同的常量列表usecols - usecols=['id', 'col1']。然后按块读取csv，按id和groupby的子集读取concat块。

如果更好用列col1，就换constants = df['col1'].unique().tolist()。这取决于您的数据。

或者，您只能读取一列df = pd.read_csv(io.StringIO(temp), sep=",",usecols=['id'])，这取决于您的数据。

import pandas as pd
import numpy as np
import io

#test data
temp=u"""id,col1,col2,col3
1,13,15,14
1,13,15,14
1,12,15,13
2,18,15,13
2,18,15,13
2,18,15,13
2,18,15,13
2,18,15,13
2,18,15,13
3,14,15,13
3,14,15,13
3,14,185,213"""
df = pd.read_csv(io.StringIO(temp), sep=",", usecols=['id', 'col1'])
#drop duplicities, from out you can choose constant
df = df.drop_duplicates()
print df
#   id  col1
#0   1    13
#2   1    12
#3   2    18
#9   3    14

#for example list of constants
constants = [1,2,3]
#or column id to list of unique values
constants = df['id'].unique().tolist()
print constants
#[1L, 2L, 3L]

for i in constants:
    iter_csv = pd.read_csv(io.StringIO(temp), delimiter=",", chunksize=10)
    #concat subset with rows id == constant
    df = pd.concat([chunk[chunk['id'] == i] for chunk in iter_csv])
    #your groupby function
    data = df.reset_index(drop=True).groupby(["id","col1"], as_index=False).sum()
    print data.to_csv(index=False)

    #id,col1,col2,col3
    #1,12,15,13
    #1,13,30,28
    #
    #id,col1,col2,col3
    #2,18,90,78
    #
    #id,col1,col2,col3
    #3,14,215,239