Spark 2.3 java。lang.NoSuchMethodError:io。内蒂。缓冲器PooledByteBuff分配器。米制的

Question

SPARK 2.3抛出以下异常。有人能帮忙吗！！我试着加入罐子

308 [驱动程序] 错误 org.apache.spark.deploy.yarn.ApplicationMaster - 用户类抛出异常：java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric; java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;在 org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80) 在 org.apache.spark.network.util.NettyMemoryMetrics.(NettyMemoryMetrics.java:76) 在 org.apache.spark.network。 client.TransportClientFactory.(TransportClientFactory.java:109) at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99) at org.apache.spark.rpc.netty.NettyRpcEnv.(NettyRpcEnv.scala:71)在 org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461) 在 org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57) 在 org.apache.spark.SparkEnv$ .create(SparkEnv.scala:249) 在 org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175) 在 org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256) 在 org.apache.spark .SparkContext.(SparkContext.scala:423) at org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58) at com.voicebase.etl.HBasePhoenixPerformance2.main(HBasePhoenixPerformance2.java:55) at sun。反射.本机方法A ccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method. java:498) at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:706) 315 [main] ERROR org.apache.spark.deploy.yarn.ApplicationMaster - 未捕获的异常：org .apache.spark.SparkException：awaitResult 中抛出的异常：在 org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205) 在 org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala) :486) 在 org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(ApplicationMaster.scala:345) 在 org.apache.spark.deploy.yarn.ApplicationMaster$ $anonfun$run$2.apply$mcV$sp(ApplicationMaster.scala:260) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:2 60) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$5.run(ApplicationMaster. scala:800) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java: 1836) 在 org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser(ApplicationMaster.scala:799) 在 org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:259) 在 org.apache.spark .deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:824) at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala) 引起：java.util.concurrent.ExecutionException：盒装错误

Answer 1

aws-java-sdk需要一个较旧版本的Netty。删除所有的netty jar并从项目中删除aws-java-sdk解决了这个问题。

Answer 2

这个问题是由于Hadoop和Spark为Netty编译的版本不匹配造成的。所以你可以跟着这个。

类似的问题，可以通过使用特定版本的Netty手动编译Spark来解决

另一个是Suhas推荐的，通过将SPARK_HOME/jars文件夹的内容复制到各个lib文件夹中，或者仅将HADOOP_HOME/share/HADOOP中的Thread中的内容复制到其中，也解决了这个问题。但这是一个肮脏的补丁。因此，可以使用这两个版本的最新版本，或者手动编译它们。

Answer 3

这是因为用旧版本编译的Hadoop二进制文件需要我们替换它们。通过替换Hadoop，我没有遇到任何问题。

您需要更换netty-3.6。2.决赛。jar和netty-all-4.0。23.最后。jar来自路径$HADOOP\u HOME\share\HADOOP和netty-all-4.1。17.决赛。jar和netty-3.9。9.决赛。jar。