java.lang.NoClassDeffounderRror：org/apache/spark/streaming/twitter/twitterutils$
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/twitter/TwitterUtils$
at TwitterPopularTags$.main(TwitterPopularTags.scala:43)
at TwitterPopularTags.main(TwitterPopularTags.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:331)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.twitter.TwitterUtils$
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 9 more
谢谢你事先的帮助。
向vpv致意
共有1个答案
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.SparkContext._
import org.apache.spark.streaming.twitter._
import org.apache.spark.SparkConf
resolvers += Resolver.url("sbt-plugin-releases-scalasbt", url("http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/"))
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")
name := "TwitterPopularTags"
version := "1.0"
mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
{
case PathList("META-INF", xs @ _*) => MergeStrategy.discard
case x => MergeStrategy.first
}
}
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.1.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-streaming-twitter" % "1.2.0"
libraryDependencies += "org.twitter4j" % "twitter4j-stream" % "3.0.3"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"
sbt assembly
./bin/spark-submit \
--class TwitterPopularTags \
--master local[4] \
/path/to/TwitterPopilarTags.jar \
comsumerkey consumersecret accesstoken accesssecret
-
我正尝试使用Spark 2.0.2从hbase数据库(1.2.5)中获取数据，此页面中的代码为：https://github.com/apache/hbase/blob/master/hbase-spark/src/main/java/org/apache/hadoop/hbase/Spark/example/hbaseContext/javahbasebulkgetexample.java 但我
-
我是Spark流媒体框架的新手，正在尝试处理推特流。我正在编写测试用例，并了解我可以使用Spark StreamingSuite Base，这将帮助我将输入测试为函数流。但我编写了一个函数，它以DStream[状态]作为输入，处理后将DStream[字符串]作为输出。我在StreamingSuite数据库中使用的api是testOperation。 这是发送输入的函数。。 但是由于DStream[
-
我正在使用火花流和Kafka，我得到了这个错误。 线程“streaming-start”中的异常java.lang.NosuchMethoderror：scala.predef$.arrowassoc（ljava/lang/object；）ljava/lang/object；在org.apache.spark.streaming.kafka010.directkafkainputdstream$$
-
Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据，也可以通过由 高阶函数map、reduce、join、window等组成的复杂算法计算出数据。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数
-
我对apache Spark是新手。我试图运行https://github.com/prabeesh/sparktwitteranalysis/tree/0.2.0示例，但控制台给出了以下错误： 我已经使用启动了服务器，并通过sbt/sbt包编译了代码 并使用/删除了代码 这个错误的原因是什么？如何解决它 提前谢了。
-
在netbeans with maven中，我添加了org.apache.lucene的第三方依赖项lucene-core 4.2.0，因为较新的核心版本不包含OpenBitSet类。以下是POM： null 我可以通过NetBeans使用包中包含的所有类。我已经在包含.pom文件的目录中构建了带有“mvn clean install”的jar。但当我从CLI运行jar时： 其中org.apach