Spark结构化流应用程序将空拼花文件生成到Azure blob

Question

我正在读取来自Apache Kafka的json消息，然后使用Apache Spark在Azure blob存储中编写拼花文件。我使用方法partitionBy将这些拼花地板文件写入嵌套文件夹中。我的代码如下：

val sourceDF = spark.readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", brokerList)
      .option("subscribe", sourceTopic)
      .option("startingOffsets", "latest")
      .load()
      



sourceDF
      .select(...)
      .where("somecol"=="something")
      .writeStream
      .format("parquet")
      .option("path", outputPath+"/somepath")
      .option("checkpointLocation", checkpointLocation+"/somepath")
      .partitionBy("date","country")
      .queryName("test")
      .trigger(Trigger.ProcessingTime(interval+" seconds"))
      .start()

我注意到火花应用程序会产生空的镶木地板文件。这对我来说是一个瓶颈，因为我在hive导入过程中读取了这些镶木地板文件，并且抛出了一个异常，即这不是镶木地板文件（长度太小：0）

一般来说，我想禁止Spark streaming写入空文件。

Answer 1

数据帧。rdd。isEmpty（）//检查if中的空数据帧，并且不运行。