读取pandas中CSV文件的最后一行以外的所有内容

Question

我在pandas中读取了CSV文件，其中包括：

#!/usr/bin/env python

import pandas as pd
import sys

filename = sys.argv[1]
df = pd.read_csv(filename)

不幸的是，这些文件的最后一行经常损坏（逗号数错误）。目前，我在文本编辑器中打开每个文件，并删除最后一行。

有没有可能删除加载CSV的同一个python/熊猫脚本中的最后一行，以节省必须采取这个额外的非自动化步骤？

Answer 1

在csv中读取时，可以使用skipfoter参数省略最后n行：

df = pd.read_csv(filename, skipfooter=3, engine='python')

在本例中，最后3行是不匹配的。

Answer 2

阅读http://pandas.pydata.org/pandas-docs/version/0.16.2/generated/pandas.read_csv.html.此处的'skipfooter'参数可用于指定不希望读取的行数。csv文件从末尾开始。也许对你有帮助。

Answer 3

通过error\u bad\u lines=False，它将自动跳过这一行

df = pd.read_csv(filename, error_bad_lines=False)

error_bad_lines的优点是它将跳过并且不会在任何错误的行上出错，但是如果最后一行总是达夫，那么skipfoter=1更好

感谢@DexterMorgan指出，skipfooter选项强制引擎使用python引擎，该引擎在解析csv时比c引擎慢。