使用python查找大型.csv文件中的行数[duplicate]

Question

我正在处理非常大的.csv文件，并且正在尝试查找文件中的行数以及其他事情，例如解析为json等。

我的问题是如何克服csv库的限制，因为我不断收到以下错误。

我提供了一个在python3中工作的示例程序，它将返回csv文件中的行数。

 import csv

    input = 'large-input.csv'
    with open(input ,"r") as f:
        reader = csv.reader(f,delimiter = ",")
        data = list(reader)
        row_count = len(data)
        print(row_count)

但是，当运行1.5GB csv文件时，我仍然会收到这个错误。

Traceback (most recent call last):
  File "csv-len.py", line 6, in <module>
    data = list(reader)
_csv.Error: field larger than field limit (131072)

在这个问题上所做的任何工作都是非常值得赞赏的。谢谢！

Answer 1

CSV通常是用换行符分隔的，因此通过CSV解析器运行它，只计算行数可能比只计算行数效率低。

这样会快得多。如果需要，可以为标题减去一行。

def row_count(input):
    with open(input) as f:
        for i, l in enumerate(f):
            pass
    return i