分析较大文件中的一列[重复]

Question

我正在使用熊猫。我试图从一个较大的文件中读取一列名称。这个文件总共是35GB，这使得我的内核死了。所以我想在其中一个专栏里读到。然后我希望“块”这个数据，这样内核就不会死。由此，我需要得到每个名字的总和，并找到计数最高的名字。以下是可能有用的：

import pandas as pd

data = pd.read_csv("/Users/Desktop/EQR_Data/EQR_Transactions_1.csv", low_memory=False)

要从主文件导入的列名：

'seller_company_name'

Answer 1

如果只在一列中阅读，请使用关键字usecols：

data = pd.read_csv("/Users/Desktop/EQR_Data/EQR_Transactions_1.csv", usecols=['seller_company_name'])

然后您可以groupby卖家名称：

grpd = df.groupby('seller_company_name')

在grpd.groups，然后是一个判决，其中包含每个卖家的出现指数列表。用这些列表的长度把它变成一个判决：

result = {d: len(grpd.groups[d]) for d in grpd.groups}

Answer 2

有时候你最好用命令行

如果您可以访问类似unix的环境，这就是grep/sed/awk/cd在处理流时所构建的

看这里举个例子

另一种方法是拆分csv并对其进行批处理（以“，”分隔，第一个零索引列）

cat some.csv | cut -d, -f1 | sort | uniq -c