在带有ScalaObjectMapper的Jackson模块上的Spark 1.4.0上运行作业时出错

Question

我正在运行用Scala 2.10.4编写的Spark作业，并在Spark
1.4.0集群（基于HDFS并由YARN管理）上运行，并在Mavenhtml" target="_blank">存储库上使用Jackson模块2.6.1版

从我的IDE（IntelliJ IDEA v14）在本地运行代码时，所有内容均可在内存群集上运行，但是在远程群集（AWS
VPC上的EMC群集）上运行作业时，出现以下异常：

java.lang.AbstractMethodError: com.company.scala.framework.utils.JsonParser$$anon$1.com$fasterxml$jackson$module$scala$experimental$ScalaObjectMapper$_setter_$com$fasterxml$jackson$module$scala$experimental$ScalaObjectMapper$$typeCache_$eq(Lorg/spark-project/guava/cache/LoadingCache;)V
    at com.fasterxml.jackson.module.scala.experimental.ScalaObjectMapper$class.$init$(ScalaObjectMapper.scala:50)
    at com.company.scala.framework.utils.JsonParser$$anon$1.<init>(JsonParser.scala:14)
    at com.company.scala.framework.utils.JsonParser$.<init>(JsonParser.scala:14)
    at com.company.scala.framework.utils.JsonParser$.<clinit>(JsonParser.scala)
    at com.company.migration.Migration$.printAllKeys(Migration.scala:21)
    at com.company.migration.Main$$anonfun$main$1.apply(Main.scala:22)
    at com.company.migration.Main$$anonfun$main$1.apply(Main.scala:22)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:327)
    at org.apache.spark.util.collection.ExternalSorter.insertAll(ExternalSorter.scala:199)
    at org.apache.spark.shuffle.sort.SortShuffleWriter.write(SortShuffleWriter.scala:56)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:70)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41)
    at org.apache.spark.scheduler.Task.run(Task.scala:70)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

我试图在网上查看异常情况，但没有运气。我也尝试在这里寻找类似的问题，结果发现只有一个线程没有可接受的答案，并且没有答案可以帮助我。

希望在这里找到帮助，

谢谢。

Answer 1

我正在回答这个问题，以供其他用户进一步查看。

我停止使用了，ScalaObjectMapper并开始使用常规ObjectMapper。

val jacksonMapper = new ObjectMapper() 
jacksonMapper.registerModule(DefaultScalaModule)

暂时还可以。附上piggybox的评论以提供帮助：

代码上的唯一区别是使用classOf […]将readValue的类型指定为第二个参数。