Flink-使用匕首注射-不可串行化？

Question

我使用Flink（最新的git）从Kafka流到卡桑德拉。为了简化单元测试，我通过dagger添加了依赖注入。

ObjectGraph似乎正确地设置了自己，但是“内部对象”被Flink标记为“不可序列化”。如果我直接包括这些对象，它们会起作用--那么有什么区别呢？

通过Dagger Lazy 实例化的对象也不会序列化。

线程“main”org.apache.flink.api.common.invalidProgramException：对象com.someapp.saveMap@2E029D61不可序列化
...
由:java.io.NotSerializableException:dagg.internal.lazyBinding$1引起

Answer 1

在深入讨论这个问题的细节之前，先介绍一下Apache Flink中函数可序列化的背景知识：

Apache Flink使用Java序列化（Java.io.Serializable）将函数对象（这里是MapFunction)发送给并行执行它们的工作人员。因此，函数需要是可序列化的：函数不能包含任何不可序列化的字段，即非原语类型(int、long、double、...)，且未实现java.io.serializable。

处理不可序列化构造的典型方法是懒洋洋地初始化它们。

我不太熟悉依赖项注入，但dagger似乎也提供了类似懒惰依赖项的东西，这可能有助于作为类似Scala中懒惰变量的变通方法：

new MapFunction<Long, Long>() {

  @Inject Lazy<MyDependency> dep;

  public Long map(Long value) {
    return dep.get().doSomething(value);
  }
}