发现错误

Question

在Hadoop上运行Spark时，我遇到了以下错误。当我使用Scala API时，它也给了我这个错误。我确信这个错误与Spark路径和类路径有关。

错误是：

Answer 1

编辑原来的答案实际上是错误的。当然，“classpath first”属性在某些情况下很有用，但在本例中并不有用。谢谢你的投票，但这是不配的。

Java语言lang.NoSuchMethodError:org。阿帕奇。拼花地板语义版本。（IIILjava/lang/String；Ljava/lang/String；Ljava/lang/String；）在组织中。阿帕奇。拼花地板腐败统计

您正在使用Spark 2.1.0，它捆绑了Parket V1.8.1，它在包org.apache.parquet中定义了它的类。

您的Hadoop发行版似乎来自Cloudera，并且（例如）CDH 5.10捆绑了Parquet V1.5.0，它在package中定义了它的类。

unzip -l $SPARK_HOME/jars/parquet-column-1.8.1.jar | grep CorruptStatistics.class
     3507  07-17-2015 13:56   org/apache/parquet/CorruptStatistics.class

unzip -l /opt/cloudera/parcels/CDH/jars/parquet-common-1.5.0-cdh5.10.0.jar | grep SemanticVersion.class
     5406  01-20-2017 11:57   parquet/SemanticVersion.class

所以这些版本显然是不兼容的。

编辑时应确保它们不相互干扰，因为软件包不同。

默认情况下，在Thread下运行Spark executors时，类路径以随机顺序包含来自两个版本的Parquet的JAR，结果是灾难性的。

解决方法：确保您的Spark JAR在类路径中优先于

• 每次执行时都有一个命令行选项--conf spark。纱线使用者类路径。第一个=真
• 或spark Default中的全局条目。形态火花。纱线使用者类路径。第一个真值

“NoSuchmetodError”抱怨它在运行时找不到编译时存在的方法。
这适用于类SemanticVersion和没有名称的方法——这显然是错误的，即使是构造函数也应该用标记。

方法详细信息：参数（int， int， int， String， String， String）和返回类型val。请参阅该帖子以供参考。

好的，让我们假设类CorruptStatistics是通过调用新的语义版本（1，2，3，“a”，“b”，“c”）编译的，该版本在编译时有效，但由于某种原因，当编译语义版本时，该构造函数不存在（版本不匹配？！）

这太疯狂了，因为“官方”源代码（参见“parquet-列”和“parquet-public”下的apache GIT repo）从来没有显示过这样的构造函数的痕迹，永远不会。实际上，腐败统计是一个错误修复，用于与一些有缺陷的镶木地板格式兼容，SemanticVersion只有两个构造函数，其中没有字符串。
V1.8.1的一些“非官方”（但更容易阅读）源代码可以在这里和这里找到。

一句话：所有这些都没有意义，除非

• Spark 2.1.0提供的镶木地板罐在某种程度上不一致（而且还没有人发现这个bug！？！）

为了解决这个问题，我强烈建议您检查所有在运行时可能出现在纱线类路径中的罐子，包括您的自定义罐子Spark JARs Cloudera CDH JARs Cloudera extra parcels JARs，搜索任何腐败统计信息的引用。class--您有一个示例unzip-l | grep命令；把它绕成一个圈，准备好迎接惊喜。