Spark Streaming应用程序在连续批处理失败后应停止

Question

我有一个带有Spark2.3.1的DStream流应用程序。

其中我正在从Kafka读取数据并写入Kerberized HDFS,但在写入HDFS时,我的批处理随机开始失败,异常显示与kerberos相关的错误,但我的spark应用程序仍在运行,因此除非检查日志,否则我不知道批处理正在失败。

我的问题是，有没有什么方法让我可以限制连续批处理故障转移的数量？建议是否存在某些属性，在这些属性中，我们可以设置批处理失败的数量，在此之后，应用程序将导致失败。例如spark.streaming.xyz=3，则应用程序应在连续3次微批处理失败后停止。

Answer 1

您可以维护某种类型的变量（驱动级的静态变量），并在获得异常时不断增加它，一旦达到特定阈值（假设3）您就可以关闭spark streaming上下文来终止作业

try{
.
.
}catch(Exception e){
   count++;
   if(count>threshold)
    streamingContext.close();
}