没有权限的Uri：hdfs:/data/_spark_metadata在hdfs上使用火花流写入拼板文件时出错

Question

我正在尝试从kafka读取数据并保存到HDFS上的parquet文件。我的代码和下面类似，不同的是我是在Java写的。

val df = spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
      .option("subscribe", "topic1")
      .load()

df.selectExpr("CAST(key AS STRING)","CAST(value AS STRING)").writeStream.format("parquet").option("path",outputPath).option("checkpointLocation", "/tmp/sparkcheckpoint1/").outputMode("append").start().awaiteTermination()

但是，它抛出了URI with Authority:hdfs:/data/_spark_metadata异常，其中hdfs:///data是输出路径。

当我把代码改成spark.read和df.write一次写出parquet文件时，没有任何例外，所以我猜这与我的hdfs配置没有关系。

有人能帮我吗？

Answer 1

这里有一个建议，从路径中删除hdfs：//，但将其保留在检查点中。然而，对我来说，在HDP沙箱中，它在检查点中有hdfs：//和没有hdfs：//两种情况下都起作用：

.option("path", "/user/username/outpath")
.option("checkpointLocation", "/tmp/checkpoint")