在AWS EMR上使用Spark 2.1.0的AWS-SDK对齐错误？

Question

我只能猜测这是因为我使用了不同的AWS-SDK版本构建了jar，而不是安装在Spark2.1.0中的版本

1. 安装在EMR的Spark 2.1.0上的正确AWS_SDK版本是什么？
2. 有办法强制我提交的spark任务与我的jar一起运行吗？

Answer 1

我在最新的EMR映像上运行Spark2.1.0，并在POM中使用此依赖项：

        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk</artifactId>
            <version>1.10.75</version>
            <scope>compile</scope>
            <exclusions>
                <exclusion>
                    <artifactId>jackson-databind</artifactId>
                    <groupId>com.fasterxml.jackson.core</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-dataformat-cbor</artifactId>
                    <groupId>com.fasterxml.jackson.dataformat</groupId>
                </exclusion>
            </exclusions>
        </dependency>

强制spark与您的JAR一起运行的方法是使用范围“compile”，而不是像我上面所做的那样使用“provided”。

顺便说一句，您可以SSH到EMR的主机并运行：

 sudo find / -name *aws-sdk*jar