将数据帧保存到本地文件系统会产生空结果

Question

我们正在AWS EMR上运行spark 2.3.0。以下DataFrame“df”不是空的，大小适中：

scala> df.count
res0: Long = 4067

以下代码可以很好地将df写入hdfs：

   scala> val hdf = spark.read.parquet("/tmp/topVendors")
hdf: org.apache.spark.sql.DataFrame = [displayName: string, cnt: bigint]

scala> hdf.count
res4: Long = 4067

然而，使用相同的代码写入本地< code>parquet或< code>csv文件最终会得到空结果:

df.repartition(1).write.mode("overwrite").parquet("file:///tmp/topVendors")

scala> val locdf = spark.read.parquet("file:///tmp/topVendors")
org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.;
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:207)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$9.apply(DataSource.scala:207)
  at scala.Option.getOrElse(Option.scala:121)

我们可以看到它失败的原因：

 ls -l /tmp/topVendors
total 0
-rw-r--r-- 1 hadoop hadoop 0 Jul 30 22:38 _SUCCESS

因此，没有正在写入镶木地板文件。

我已经对< code>csv和< code>parquet以及两个不同的< code>EMR服务器尝试了大约二十次:在所有情况下都表现出相同的行为。

这是EMR特定的错误吗？一个更通用的EC2bug？还有什么？此代码适用于macOS上的spark。

如果重要的话-以下是版本信息：

Release label:emr-5.13.0
Hadoop distribution:Amazon 2.8.3
Applications:Spark 2.3.0, Hive 2.3.2, Zeppelin 0.7.3

Answer 1

当您试图将空目录作为parquet读取时，通常会出现此错误。你可以检查1。如果数据帧为空，则在写入之前使用outcome.rdd.isEmpty()。2.检查您给出的路径是否正确

此外，您在什么模式下运行您的应用程序？如果您在集群模式下运行，请尝试在客户端模式下运行它。

Answer 2

这不是bug，这是预期的行为。Spark并不真正支持写入非分布式存储（它将在本地模式下工作，因为您有共享文件系统）。

本地路径不(仅)被解释为驱动程序上的路径(这需要收集数据)，而是每个执行器上的本地路径。因此，每个执行器将把自己的块写到自己的本地文件系统中。

不仅输出是不可读的(为了加载数据，每个执行器和驱动程序应该看到相同的文件系统状态)，而且根据提交算法，可能甚至没有完成(从临时目录中移走)。