应用程序崩溃时Flink Task Manager状态

Question

处理事件时，如果jar应用程序向任务管理器抛出异常，会发生什么情况？

a） Flink作业管理器将杀死现有的任务管理器并创建新的任务管理器？

b） 任务管理器本身使用RocksDB中保存的本地状态从失败的执行和重启过程中恢复？

java.lang.IllegalArgumentException: "Application error-stack trace"

我有一个疑问，如果相同类型的错误事件被每个可用的任务管理器处理，因此它们都被杀死，整个flink工作被关闭。

我注意到，如果出现一些应用程序错误，那么最终整个工作都会失败。

目前还没有弄清楚确切的原因。

Answer 1

一般来说，作业中的异常不应该导致整个任务管理器瘫痪。我们在这里谈论的是“正常”异常。在这种情况下，作业本身将失败，任务管理器将根据提供的重启策略尝试重新启动它或不重新启动它。

显然，如果由于某种原因，您的任务经理将死亡，例如由于超时或其他原因。如果您不使用某些资源管理器或编排工具（如Thread或Kubernetes），它将不会自动重新启动。这种情况下的作业应在有可用插槽后启动。

至于您描述的作业本身正在“下降”的行为，我在这里假设作业只是进入失败状态。这是因为不同的重新启动策略具有不同的最大重试次数阈值，如果作业在指定的重新启动次数后不工作，它将进入失败状态。