spark Streaming-Java . lang . nosuchmethoderror错误

Question

我正在尝试从 Spark 流式处理访问流式推文。

这是软件配置。

Ubuntu 14.04.2 LTS

scala版本

Scala代码运行器版本2.11.7——版权所有2002-2013，LAMP/EPFL

火花提交版本

火花版本1.6.0

以下是代码。

object PrintTweets
{
 def main(args: Array[String]) {

  // Configure Twitter credentials using twitter.txt
  setupTwitter()

  // Set up a Spark streaming context named "PrintTweets" that runs locally using
  // all CPU cores and one-second batches of data
  val ssc = new StreamingContext("local[*]", "PrintTweets", Seconds(1))

  // Get rid of log spam (should be called after the context is set up)
  setupLogging()

  // Create a DStream from Twitter using our streaming context
  val tweets = TwitterUtils.createStream(ssc, None)


  // Now extract the text of each status update into RDD's using map()
  val statuses = tweets.map(status => status.getText())

  // Print out the first ten
  statuses.print()

  // Kick it all off
  ssc.start()
  ssc.awaitTermination()
 }
}

Utilities.scala

object Utilities {
/** Makes sure only ERROR messages get logged to avoid log spam. */
def setupLogging() = {
  import org.apache.log4j.{Level, Logger}   
  val rootLogger = Logger.getRootLogger()
  rootLogger.setLevel(Level.ERROR)   
}

/** Configures Twitter service credentials using twiter.txt in the   main workspace directory */
def setupTwitter() = {
  import scala.io.Source

  for (line <- Source.fromFile("./data/twitter.txt").getLines) {
   val fields = line.split(" ")
   if (fields.length == 2) {
    System.setProperty("twitter4j.oauth." + fields(0), fields(1))
   }
 }

}

}

问题：

由于它需要推特4j库，所以我
在日食构建路径中添加了推特4j-核心-4.0.4，推特4j-流-4.0.4作为外部罐子。

然后我运行了程序，它没有抛出任何错误。但是推文没有出现在控制台中。它是空的。

所以我看到了一些论坛，并将twitter4j降级为3.0.3。同样在Eclipse中，我在BuildPath窗口中选择了Scala2.10Library容器。

之后我得到了java.lang.NoSuchMethodError运行时错误。

16/05/14 11:46:01 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NoSuchMethodError:    twitter4j.TwitterStream.addListener(Ltwitter4j/StreamListener;)V
at    org.apache.spark.streaming.twitter.TwitterReceiver.onStart(TwitterInputDStream.scala:72)
at   org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver(ReceiverSupervisor.scala:148)
at org.apache.spark.streaming.receiver.ReceiverSupervisor.start(ReceiverSupervisor.scala:130)
at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:575)
at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:565)
at org.apache.spark.SparkContext$$anonfun$37.apply(SparkContext.scala:1992)
at org.apache.spark.SparkContext$$anonfun$37.apply(SparkContext.scala:1992)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

请帮我解决这个问题。最初我使用Scala 2.11构建了spark。这就是问题所在。我需要卸载所有内容并重新安装Scala 2.10，然后再安装Spark预编译包吗。

或者除了Scala 2.11之外，我的系统中还需要Scala 2.10吗？

Answer 1

在我的情况下。我有一个spark java项目。我清理了pom文件并开始按顺序添加。首先解决了火花相关的错误，然后是火花发射器，接下来是基于更大的库。注意我使用的是cdh6.2.0环境

Answer 2

上述异常似乎是由火花版本1.6.0和twitter4j 3.0.3版本不兼容造成的。

twitter4j.TwitterStream在org.apache.spark.streaming.twitter.TwitterReceiver的onStart方法中传递的，具有方法addListener，该方法接受twitter4j.StreamListener的实例。

twitter4j3.0.3版本没有方法twitter3j.TwitterStream。addListener（StreamListener），相反，它有几个其他的addListener方法，它们采用StreamListener的子类。

twitter4j 4.0.4版本具有所需的方法，所以这个库没有错误。所以更改为twitter4j 3.0.3版本不会解决问题。

问题出在别的地方。