Jackson 2.8版的Spark应用程序与Apache Spark 1.6不兼容

Question

我有一个使用Jackson 2.8 API的Spark应用程序，我使用Spark 1.6作为应用程序中提供的（范围）依赖项pom.xml.当我尝试在集群模式下部署Spark应用程序时，Spark 1.6构建的Jackson旧版本被选中导致应用程序失败。

我厌倦了通过“-jars”选项提供2.8 Jackson jar，构建包含最新Jackson依赖项的Uber应用程序jar，以及在执行器/驱动html" target="_blank">程序上提供userClasspathFirst选项，这些选项都没有帮助。

我将最新的Jackson jar放置在同一位置的所有Spark工作节点中，并添加了执行器类路径选项的路径-只有在这个选项中，才会选择最新的Jackson版本。在此解决方案中，每次我向应用程序添加新的工作节点时，我都必须放置最新的Jackson，这是我发现的缺点。如果有人有更好的解决方案，请告诉我。

Answer 1

你可以试着遮蔽杰克逊。例如，在maven中，你会做这样的事情：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <shadedArtifactAttached>true</shadedArtifactAttached>
                        <relocations>
                            <relocation>
                                <pattern>com.fastxml.jackson</pattern>
                                <shadedPattern>com.mycompany.shaded.com.fastxml.jackson</shadedPattern>
                            </relocation>
                        </relocations>
                        <finalName>FatJarName</finalName>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

其想法是，它将基本上重命名jackson软件包，并更改您使用它的内部访问权限。然后提交新的脂肪罐。

注意：这并不总是有效（特别是如果您使用反射访问jackson，它可能指向错误的版本）。