如何使用pyspark读取字段中带有逗号的CSV文件？[副本]

Question

我有一个csv文件，列值中包含逗号。例如

Column1,Column2,Column3    
123,"45,6",789  

当值在数据中有额外的逗号时，这些值会用双引号括起来。在上面的示例中，值为Column1=123、Column2=45,6和Column3=789，但在尝试读取数据时，由于Column2字段中有额外的逗号，它给了我4个值。

在PySpark中读取此数据时，如何获得正确的值？我正在使用Spark 1.6.3

我目前正在执行以下操作以创建一个rdd，然后从rdd创建一个数据帧。

rdd = sc.textFile(input_file).map(lambda line: line.split(','))
df = sqlContext.createDataFrame(rdd) 

Answer 1

您可以使用SQLContext将其直接读取到DF：

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.read.format('com.databricks.spark.csv')
    .options(header='true', inferschema='true', quote='"', delimiter=',')
    .load(input_file)

由于分隔符'、'和Quote'"'是默认值，您也可以省略它们。默认情况下，引号中的逗号将被忽略。可以在此处找到参数的描述：https://github.com/databricks/spark-csv

编辑：

如果不依赖Databricks，我只能想到一个更棘手的解决方案-这可能不是最好的方法：

1. 将数字中的逗号替换为点
2. 使用剩余逗号拆分

因此，您可以保留原始代码，并添加REGEX替换

import re
rdd = sc.textFile(input_file).map(lambda line: (re.sub(r'\"(\d+),(\d+)\"',r'\1.\2', line)).split(','))
df.sqlContext.createDataFrame(rdd)

所提供的REGEX还去掉了双引号。