pyspark.sql.utils.分析异常：u'无法推断镶木地板的架构。它必须手动指定。；'

Question

这与上面文章中给出的答案不同

我收到一个错误，显示

pyspark.sql.utils.AnalysisException: u'Unable to infer schema for Parquet. It must be specified manually.;'

当我尝试使用Spark 2.1.0读取拼花地板文件时

data = spark.read.parquet('/myhdfs/location/')

我已经检查过了，通过Hue WebPortal查看impala表，文件/表不是空的。另外，我存储在类似目录中的其他文件读起来也非常好。对于记录，文件名包含连字符，但没有下划线或句号/句点。

因此，在加载拼花地板文件时，以下帖子中的答案都无法推断模式

有什么想法吗？

Answer 1

我遇到了同样的问题，但我在网上找到的答案都不适合我。原来我是这样写代码的：

data = spark.read.parquet("/myhdfs/location/anotherlevel/")

所以，使用double”时，我的问题就解决了。

data = spark.read.parquet('/myhdfs/location/anotherlevel/')

分享以防对任何人都有帮助

Answer 2

事实证明，我之所以出现此错误，是因为目录结构有另一个级别。以下是我所需要的；

data = spark.read.parquet('/myhdfs/location/anotherlevel/')