Spark中有一个阶段/任务结束的“钩子”吗？

Question

我有一个Spark UDF，它需要在executor的本地磁盘上安装一个特定的文件（在我的例子中是MATLAB运行时）（我们使用的是YARN）。因为我不能直接访问executor机器，所以我必须找到另一种方法在集群上部署我的运行时。由于文件非常大，我不能在每次调用UDF时安装/删除它，所以我考虑了以下策略：

null

似乎没有办法为执行者添加关机钩子（Spark worker shutdown-如何释放共享资源），是否还有另一个“钩子”，例如任务结束钩子？

Answer 1

正如我提到的，您可以监听任务的结束（我现在才有时间尝试），至少在spark上下文的全局级别上使用类似的内容（稍后我将用scala编写一些内容，因为我目前无法运行scala代码）：

//sc is the SparkContext
sc.addSparkListener(new SparkListener() {

        @Override
        public void onTaskEnd(SparkListenerTaskEnd taskEnd) {
            // TODO Auto-generated method stub
            System.out.println("Task ended: " + taskEnd);
            super.onTaskEnd(taskEnd);
        }
    });

还有很多其他监听器，请参见SparkListener