番石榴/火花问题

Question

我的 Spark 版本是 2.2.0，它在本地工作，但在具有相同版本的 EMR 上，它给出了以下异常。

Answer 1

修复这个错误的方法是使用maven的shade插件。将此添加到您的pom.xml:

            <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <relocations>
                            <relocation>
                                <pattern>com.google.common</pattern>
                                <shadedPattern>shaded.com.google.common</shadedPattern>
                            </relocation>
                        </relocations>
                        <artifactSet>
                            <includes>
                                <include>com.google.guava:guava</include>
                            </includes>
                        </artifactSet>
                    </configuration>
                </execution>
            </executions>
        </plugin>

这将创建一个同名的上部罐子，其中仅包括一个阴影番石榴。