python中CSV文件的行计数错误

Question

我正在处理一个csv文件，在此之前，我使用下面的代码获取行数。

total_rows=sum(1 for row in open(csv_file,"r",encoding="utf-8"))

代码是在这个链接中给出的帮助下编写的。但是，total_rows与csv文件中的实际行数不匹配。我已经找到了一个替代方案，但想知道为什么这是不正确的工作？？

在CSV文件中，有大量文本的单元格，我必须使用编码来避免读取CSV文件时出错。

感谢您的帮助！

Answer 1

我认为这里的问题是因为你不是在计算行，而是在计算换行符（在windows中\r\n或者在linux中\n）。问题在于当您有一个带有文本的单元格时，其中有换行符示例：

1, "my huge text\n with many lines\n"
2, "other text"

当准确地说只有2行时，上述数据的方法将返回4

尝试使用Pandas或其他库读取CSV文件。例子：

import pandas as pd
data = pd.read_csv(pathToCsv, sep=',', header=None);
number_of_rows = len(df.index) # or df[0].count()

请注意len（df.index）和df[0]. Count（）不能互换，因为Count不包括NaNs。

Answer 2

假设您有一个csv文件，其中某个单元格是多行文本。

$ cat example.csv
colA,colB
1,"Hi. This is Line 1.
And this is Line2"

从外观上看，它有三行并且wc-l同意：

$ wc -l example.csv
3 example.csv

使用sum打开也是如此：

sum(1 for row in open('./example.csv',"r",encoding="utf-8"))
# 3

但是现在，如果你读的是一些csv解析器，如pandas.read_csv：

import pandas as pd

df = pd.read_csv('./example.csv')
df
   colA                                    colB
0     1  Hi. This is Line 1.\nAnd this is Line2

获取正确行数的另一种替代方法如下所示：

with open(csv_file,"r",encoding="utf-8") as f:
     reader = csv.reader(f,delimiter = ",")
     data = list(reader)
     row_count = len(data)

除去标题，csv包含一行，我相信这是你所期望的。这是因为colB的第一个单元格（也就是巨大的文本块）现在可以通过引号包装整个文本来正确处理。