如何在Apache Beam中序列化运行时创建的类

Question

我有一个apache-beam应用程序，它在本地使用direct-runner运行流水线，在google cloud中使用dataflow Runner运行流水线。它在本地工作，但让google dataflow Runner失败了。

以下是错误跟踪：

它指向

“...无法反序列化序列化的DofnInfo”

和

“...java.lang.ClassNotFoundException:Header_H”

builder = new ByteBuddy().subclass(some.class).name("Header_H").modifiers(PUBLIC);
       .defineField("serialVersionUID", long.class, STATIC, PRIVATE, FINAL).value(37L)
       .implement(Serializable.class);

Class <?> clazz = builder.make().load(getClass().getClassLoader()).getLoaded();

Answer 1

Byte Buddy可以通过以下方式在jar文件中注入类：

DynamicType.Unloaded<?> type = builder.make();
builder.inject(someJar);

这将改变现有的jar文件以包含动态生成的类。这样，您就可以更改系统类路径上的现有jar。

这个API还允许您创建一个新的jar，您可以使用instrumentationAPI（通过Java代理），它允许您将这个类作为一个新的jar文件附加到类路径中。为了避免附加代理，还可以尝试将byte-buddy-agent项目用于动态附件。

这将通过以下方式实现：

File someFolder = ...
File jar = builder.saveIn(someFolder);
ByteBuddyAgent.install().appendToSystemClassLoaderSearch(new JarFile(jar));

如果Google Cloud上不允许动态附件，您可以通过命令行中的常规附件来解决这个问题。