Python：如何使用“Python”引擎跳过错误的行

Question

我正在解析一个Apache日志文件，并将其保存到熊猫数据帧中，以供进一步调查。

但在日志文件中，我有一些错误行，因此发生以下错误：

ValueError：第4320行中应包含11个字段，saw 27

为了克服这个问题，我在读取文件时加入了error\u bad\u lines=False。这没有帮助，因为我遇到以下错误：

ValueError:“python”引擎不支持“error\u bad\u line”选项

注意：我显式地使用了python引擎，因为我将分隔符作为正则表达式。

代码段：

data = pd.read_csv(
    log_file, 
    sep=r'\s(?=(?:[^"]*"[^"]*")*[^"]*$)(?![^\[]*\])', 
    engine='python', 
    na_values='-',
    header=None,
    usecols = use_cols,
    skiprows =1,
    converters={time_taken_index[0]:parse_sec, time_index[0]:parse_datetime, req_index[0]:parse_str,status_index[0]:parse_str},
    error_bad_lines = False
    )

如有任何建议，我将不胜感激。谢谢你。

Answer 1

看来你用的是旧版本的熊猫（

参数error\u bad\u lines=False将在0.20中与python引擎一起工作。0 .

所以，只需更新熊猫库。