无法读取以pyspark为单位的csv文件

Question

我尝试使用pyspark读取csv文件，并使用以下pyspark代码：

tr_df = spark.read.csv("/data/file.csv",
                       header=True, inferSchema=True
                      )
tr_df.head(5)

但是我得到了这个错误：

ValueError                                Traceback (most recent call last)
<ipython-input-53-03432bbf269d> in <module>
----> 1 tr_df.head(5)

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/dataframe.py

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/dataframe.py

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/dataframe.py

在collect(self)532中使用SCCallSiteSync(self._sc)作为CSS:533 sock_info=self._jdf.collectTopython()-->534返回列表(_load_from_socket(sock_info,BatchedSerializer()))535 536@ignore_unicode_prefix

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/serializers.py

在load_stream（self,stream）145中true：146 try：-->147产生self._read_with_length（stream）148除eoferror：149返回

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/serializers.py

在_read_with_length（self,stream）170中，如果len(obj) 172返回self.loads（obj）173 174 def转储（self,obj）：

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/serializers.py

在loads（self,obj,encoding）中，如果sys.version>='3':579 def loads（self,obj,encoding=“bytes”）:-->580返回pickle.loads（obj,encoding=encoding)581否则：582 def loads（self,obj,encoding=none):

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

in_parse_datatype_json_string(json_string)867>>>>check_datatype(complex_maptype)868“”-->869 return_parse_datatype_json_value(json.loads(json_string))870 871

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

in_parse_datatype_json_value(json_value)884 tpe=json_value[“type”]885如果tpe in_all_complex_types:-->886 return_all_complex_types[tpe].fromjson(json_value)887 elif tpe=='udt':888 return userdefinedtype.fromjson(json_value)

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

在fromJson(cls,json)575@ClassMethod 576 def fromJson(cls,json):-->577返回StructType([structfield.fromJson(f)for f in json[“fields”]])578 579 def fieldNames（self）：

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

在(.0)575@ClassMethod 576 def fromJson(cls,json):-->577返回StructType([structfield.fromJson(f)for f in json[“fields”]])578 579 def fieldNames（self）：

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

在fromJson(cls,json)432 def fromJson(cls,json):433 return StructField(json[“name”],-->434_parse_datatype_json_value(json[“type”]),435 json[“nullable”],436 json[“metadata”])

~/anaconda3/envs/naboo-env/lib/python3.6/site-packages/pyspark/sql/types.py

在_parse_datatype_json_value(json_value)880返回DecimalType(int(M.group(1)),int(M.group(2)))881 else:-->882引发ValueError（“不能解析数据类型：%s”%json_value)883 else:884 tpe=json_value[“type”]

ValueError: Could not parse datatype: decimal(17,-24)

有人能帮我解决这个问题吗？

谢谢

Answer 1

您的某个列中的datatype似乎有问题。因此它的抛出错误。读取时删除inferSchema=true选项。读取数据后，尝试分析datatype并在需要时进行任何更正，然后应用您自己的架构。