无法在熊猫python中打开CSV文件

Question

我运行了以下脚本(https://github.com/FXCMAPI/FXCMTickData/blob/master/TickData34.py)并在末尾添加以下行以下载文件：

    output_folder = '/Users/me/Documents/data/forex/'
    target_folder = os.path.join(output_folder, symbol, year)
    os.makedirs(target_folder, exist_ok=True)
    with open(os.path.join(target_folder, str(i) + '.csv'), 'wb') as outfile:
            outfile.write(data)

然后，我尝试使用pandas打开文件，如下所示：

x = pd.read_csv('/Users/me/Documents/data/forex/EURUSD/2015/29.csv')

然而，我得到的是：

    In [3]: x.info()
    <class 'pandas.core.frame.DataFrame'>
    RangeIndex: 2415632 entries, 0 to 2415631
    Data columns (total 3 columns):
    D             float64
    Unnamed: 1    float64
    Unnamed: 2    float64
    dtypes: float64(3)
    memory usage: 55.3 MB

    In [4]: x.dropna()
    Out[4]: 
    Empty DataFrame
    Columns: [D, Unnamed: 1, Unnamed: 2]
    Index: []

为什么数据框是空的？

如果我在TextEdit上打开文件，前几行实际上如下所示：

DateTime,Bid,Ask

07/19/2015 21:00:15.469,1.083,1.08332

07/19/2015 21:00:16.949,1.08311,1.08332

07/19/2015 21:00:16.955,1.08311,1.08338

Answer 1

感谢您提供了一个非常具体且可重复的问题。

我粘贴了你的代码并在windows中运行，它实际上只读取了55MB的空值。

但我认为这是熊猫没有正确解析csv文件的问题，而不是它无法打开csv文件。

然而，在我尝试了这个答案中列出的所有编码之后，它根本没有产生效果，因此可能是文件也有问题。

我最终让它工作的方式是通过在excel中打开它并保存为不同的文件，然后熊猫可以正确解析它。

Answer 2

显然，数据中的每个字符后面都跟有空字符\x00。摆脱它们，事情就会发生：

outfile.write(data.replace(b'\x00',b''))