Spark用于解析CSV文件中不被引号括起来的反斜杠转义逗号

Question

Name,Age,Address,Salary
Luke,24,Mountain View\,CA,100

df = spark.read.csv(fname, schema=given_schema,
                sep=',', quote='',mode="FAILFAST")

Answer 1

请先尝试使用rdd，重新格式化它，然后在它上面创建一个dataframe。

df  = sc.textFile(PATH_TO_FILE) \
    .map(lambda x: x.replace("\\," ,"|")) \
    .mapPartitions(lambda line: csv.reader(line,delimiter=','))\
    .filter(lambda line: line[0] != 'Name') \
    .toDF(['Name','Age','Address','Salary'])

这就是您的数据文件现在的样子：

>>> df.show();
+----+---+----------------+------+
|Name|Age|         Address|Salary|
+----+---+----------------+------+
|Luke| 24|Mountain View|CA|   100|
+----+---+----------------+------+

我必须用“”替换地址列“\\”，然后使用分隔符“,”拆分数据。不确定它如何符合您的要求，但它是工作的。