使用sc.textFile（APACHE SPARK RDD）读取时转义逗号[重复]

Question

我正在尝试使用python将csv读取到rdd（SPARK）。我遇到的问题是使用带有逗号的split函数作为分隔符时。只要每列中没有逗号，这就可以正常工作。如果有逗号，则逗号会将每一列拆分为多个列。

e、 g。

empid，emp title，emp desc，college 123，developer，developer的角色是使用C、C等语言开发软件，college1

data = sc.textfile("files.csv")
empid, emp title, emp desc, college = line.strip().split(",")

在上面的示例中，emp desc也被拆分为college，请告诉我在读取数据集时如何处理每列中的逗号？

Answer 1

实际上，不可能知道哪些逗号应该是分隔符，哪些逗号不是没有额外信息的。您最好的选择可能是更改分隔符，或者确保在输入时以某种方式“转义”所有非分隔符逗号。

使用escape的解决方案：

如果所有非分隔符逗号都以某物为前缀，例如“\，”，则可以用逗号拆分并连接以转义开头的任何条目\

line = '123, developer, the role of developer is to develop softwares using languages such as C\\, C++ etc, college1'

temp = line.strip().split(',')

i=0
while i < len(temp)-1:
    if temp[i][-1] == '\\':
        temp[i:i+2] = [','.join(temp[i:i+2])]
    else:
        temp[i] = ','.join(temp[i].split('\\,'))
        i += 1

empid, emp_title, emp_desc, college = temp
print('empid: '+empid+'\nemp_title: '+emp_title+'\nemp_desc: '+emp_desc+'\ncollege: '+college)

输出：

empid: 123
emp_title:  developer
emp_desc:  the role of developer is to develop softwares using languages such as C, C++ etc
college:  college1

使用附加信息的解决方案：

另一方面，如果出于某种原因不能使用转义符来表示非分隔符逗号，那么下一个最佳选择就是强制附加信息。例如，如果您有理由相信只有emp\u desc变量才会有非分隔符逗号，那么您可以始终执行以下操作：

temp = line.strip().split(",")
empid = temp[0]
emp_title = temp[1]
emp_desc = temp[2:len(temp)-1]
college = temp[-1]