EMR中使用缩线会话的下横梁管道

Question

我试图运行一个基本的wordcount光束管道从python SDK与flink纱线会话在AWS EMR。我使用了flink runner和portable runner，得到了下面列出的两个不同的错误。来自这两种运行者的作业都显示在flink UI中，并在我的笔记本电脑上通过本地flink会话成功运行。

对于FlinkRunner，作业以BeamApp-hadoop-0617202523-14894e58的形式运行，并给出错误：

ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.beam.runners.core.construction.SerializablePipelineOptions

ERROR:root:java.util.ServiceConfigurationError: com.fasterxml.jackson.databind.Module: Provider com.fasterxml.jackson.module.jaxb.JaxbAnnotationModule not a subtype

我假定这些是依赖项错误，并尝试在/usr/lib/flink/lib目录中获取上述JAR。当应用程序启动时记录类路径时，yarn容器日志列出了正确的JAR，但错误仍然存在。

Apache Beam版本2.22.0、flink版本1.10.0、emr版本5.30.0。

Answer 1

我在Apache beam+AWS EMR+Flink中遇到了类似的问题，我通过从flinkPipelineOptions.filestostage中排除jackson-core、jackson-annotation和jackson-databind依赖项来解决这个问题。

options.setFilesToStage(Arrays.stream(System.getProperty("java.class.path").split(":"))
   .filter(d -> !d.contains("com.fasterxml.jackson.core"))
   .filter(d -> Files.exists(Paths.get(d)))
   .collect(Collectors.toList()));