EM冲入CSV导致熊猫问题

Question

我在csv原始数据文件中遇到EM Dash问题，导致熊猫无法读取csv。

我在下面运行了一些变体

    datalocation = filepath
    df = pd.read_csv(datalocation)

收到错误：“UnicodeDecodeError:“ascii”编解码器无法解码位置4:序号不在范围（128）中的字节0xef”

其他变化包括

    df = pd.read_csv(datalocation, encoding='utf-8')
    df = pd.read_csv(datalocation, encoding='utf-16')

收到错误：“UnicodeDecodeError:'utf8'编解码器无法解码位置0中的字节0xff:无效的开始字节”

    df = pd.read_csv(datalocation, na_values=['—'])

收到错误：“行包含空字节”

如果成功，dataframe应该类似于下面的示例表。

+---------+------+----------+--------+
| Country | Date | Delivery | Region |
+---------+------+----------+--------+
| a       | —    | 10       | foo    |
| b       | —    | 30       | —      |
| c       | 2    | —50      | foo—   |
| —       | —    | 20       | —bar   |
| a       | —    | 40       | bar—   |
| —       | —    | —6—      | bar    |
| b       | —    | 90—      | foo    |
| c       | —    | 70       | bar    |
| a       | —    | 80       | foo    |
| c       | —    | 100      | foo—   |
+---------+------+----------+--------+

在花时间研究了这些资源之后，我了解到这与Unicode/UTF-8/ASCII之间的一些冲突有关。

是否有办法在运行“pd”之前移除所有EM破折号。读_csv'？请记住，我不知道csv原始文件中所有EM破折号的精确单元格。

Answer 1

在读取数据集之前，通过将数据集预处理到一个新文件中，最终解决了如何做到这一点！希望与遇到此问题的任何人分享该方法。

import os, re
import pandas as pd

EMDASH = '—'

with open('scrubbed_file','wt') as outfile:
    with open('original_file_location','rt') as infile:
        for line in infile:
            outfile.write(re.sub(EMDASH,'-',line))

df = pd.read_csv('scrubbed_file', engine='python',
                     encoding='utf_16_le',
                     names=['Country', 'Date', 'Delivery', 'Region'], 
                     delimiter='\t',
                     quotechar='"',
                     skiprows=2, skip_footer=2, thousands = ',')

希望这能帮助那些在数据框中遇到问题字符的人。