如何找到混合类型的输入行

Question

我在熊猫的一个大csv中阅读：

features = pd.read_csv(filename, header=None, names=['Time','Duration','SrcDevice','DstDevice','Protocol','SrcPort','DstPort','SrcPackets','DstPackets','SrcBytes','DstBytes'], usecols=['Duration','SrcDevice', 'DstDevice', 'Protocol', 'DstPort','SrcPackets','DstPackets','SrcBytes','DstBytes'])

我得到：

sys:1: DtypeWarning: Columns (6) have mixed types. Specify dtype option on import or set low_memory=False.
  %!PS-Adobe-3.0

如何找到输入中导致此警告的第一行？我需要这样做来调试输入文件的问题，输入文件不应该有混合类型。

Answer 1

for endrow in range(1000, 4000000, 1000):
    startrow = endrow - 1000
    rows = 1000
    try:
        pd.read_csv(filename, dtype={"DstPort": int}, skiprows=startrow, nrows=rows, header=None,
                names=['Time','Duration','SrcDevice','DstDevice','Protocol','SrcPort',
                       'DstPort','SrcPackets','DstPackets','SrcBytes','DstBytes'],
                usecols=['Duration','SrcDevice', 'DstDevice', 'Protocol', 'DstPort',
                         'SrcPackets','DstPackets','SrcBytes','DstBytes'])
    except ValueError:
        print(f"Error is from row {startrow} to row {endrows}")

将文件拆分为多个数据帧，每个数据帧有 1000 行，以查看在哪个行范围内存在导致此问题的混合类型值。

Answer 2

一旦Pandas读完文件，您就无法找出哪些行有问题（请参阅此答案以了解原因）。

这意味着您应该在读取文件时找到一种方法。例如，逐行读取文件，并检查每行的类型，如果其中任何一行与预期类型不匹配，则得到所需的行。

要使用 Pandas 实现此目的，您可以将 chunksize=1 传递给 pd.read_csv（） 以块的形式读取文件（在本例中为大小为 N 的数据帧，在本例中为 1）。如果您想了解有关此内容的更多信息，请参阅文档。

代码如下所示：

# read the file in chunks of size 1. This returns a reader rather than a DataFrame
reader = pd.read_csv(filename,chunksize=1)

# get the first chunk (DataFrame), to calculate the "true" expected types
first_row_df = reader.get_chunk()
expected_types = [type(val) for val in first_row_df.iloc[0]] # a list of the expected types.

i = 1 # the current index. Start from 1 because we've already read the first row.
for row_df in reader:
    row_types = [type(val) for val in row_df.iloc[0]]
    if row_types != expected_types:
        print(i) # this row is the wanted one
        break
    i += 1

请注意，这段代码假设第一行具有“true”类型。这段代码真的很慢，所以我建议您实际上只检查您认为有问题的列(尽管这不会带来太多的性能提升)。