Python-将行拆分为列-csv数据

Question

正在尝试从csv文件中读取数据，将每行拆分为各自的列。

但是，当某个列本身带有逗号时，我的正则表达式就失败了。

例如：a， b， c，"d， e， g，"， f

我想要的结果是：

a    b    c    "d,e, g,"    f  

也就是5列。

下面是用逗号分隔字符串的正则表达式am

，（？=（？：“[^”]？（？：[^”]）*）），（？=[^”]（？：，），$）

但是它对少数字符串失败，而对其他字符串有效。

我想要的是，当我使用pyspark将csv中的数据读取到数据帧/rdd中时，我希望加载/保留所有列而不出现任何错误

非常感谢。

Answer 1

使用regex无法轻松解析CSV文件。

我的从Unix命令行处理CSV的go-to toolkit是csvkit，您可以从https://csvkit.readthedocs.io。它还有一个Python库。

标准csv库的Python文档如下：https://docs.python.org/2/library/csv.html

这里对CSV解析进行了广泛的讨论：

https://softwareengineering.stackexchange.com/questions/166454/can-the-csv-format-be-defined-by-a-regex

这是一条走得很好的道路，而且库足够好，您不应该滚动自己的代码。

Answer 2

试试看，（？=（[^“\]*（\.\.\；”（[^“\]*\.）*[^“\]*”）*[^“]*$）。

使用这个答案，它解释了如何匹配所有不在引号中的内容，忽略转义引号并http://regexr.com/进行测试。

请注意，与您的问题状态的其他答案一样，有比使用正则表达式更好的方法来解析CSV。

Answer 3

在较新的regex模块的帮助下更容易：

import regex as re

string = 'a,b,c,"d,e, g,",f'
rx = re.compile(r'"[^"]*"(*SKIP)(*FAIL)|,')

parts = rx.split(string)
print(parts)
# ['a', 'b', 'c', '"d,e, g,"', 'f']

它支持（*跳过）（*失败）机制，该机制忽略了本例中双引号之间的所有内容

import regex as re

string = '''a,b,c,"d,e, g,",f, this, one, with "escaped \"double",quotes:""'''
rx = re.compile(r'".*?(?<!\\)"(*SKIP)(*FAIL)|,')
parts = rx.split(string)
print(parts)
# ['a', 'b', 'c', '"d,e, g,"', 'f', ' this', ' one', ' with "escaped "double",quotes:""']

请参阅后者的演示regex101.com.

import csv
string = '''a,b,c,"d,e, g,",f, this, one, with "escaped \"double",quotes:""'''

# just make up an iterable, normally a file would go here
for row in csv.reader([string]):
    print(row)
    # ['a', 'b', 'c', 'd,e, g,', 'f', ' this', ' one', ' with "escaped "double"', 'quotes:""']