如何在flink环境中初始化flink作业的spring资源

Question

我最近遇到了一些关于开发flink作业的问题，它引入了Spring和hibernate，并且作业将在flink集群上运行。所以我需要在运行任务管理器而不是作业管理器上的flink操作符之前初始化Spring资源。但是我找不到任何合适的StreamExecttion环境方法来做到这一点。

我尝试了以下一些方法：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
ApplicationContext context = new ClassPathXmlApplicationContext("classpath:applicationContext.xml");
// etl business logic as flink operators
FlinkOperators.run();  
env.execute();

但是，当并行性不止一个的flink作业执行时，spring初始化不会出现在每个任务管理器进程中。所以我不能在Flink的工作中使用Spring。

有什么方法可以初始化flink作业上的spring资源吗？

谢谢。

顺致敬意，

阿尔文

Answer 1

每次需要为每个任务管理器进行某种上下文初始化时，都要构建一个静态函数（如果使用scala，则为对象内部的函数），将这些初始化值存储在静态变量中。

这应该足够了，因为静态值存储在每个任务管理器的内存中。

我使用此方法在每个任务管理器中加载属性文件，这些属性文件包含每个作业的配置。如果要加载文件，请检查每个taskmanager是否都有要加载的文件的副本。