我正在尝试使用sbt包构建spark流应用程序,我无法发现这个错误的原因是什么。
这是个错误
这是密码
import org.apache.spark.SparkContext
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.twitter._
import twitter4j.Status
object TrendingHashTags {
def main(args: Array[String]): Unit = {
val Array(consumerKey, consumerSecret, accessToken, accessTokenSecret,
lang, batchInterval, minThreshold, showCount ) = args.take(8)
val filters = args.takeRight(args.length - 8)
System.setProperty("twitter4j.oauth.consumerKey", consumerKey)
System.setProperty("twitter4j.oauth.consumerSecret", consumerSecret)
System.setProperty("twitter4j.oauth.accessToken", accessToken)
System.setProperty("twitter4j.oauth.accessTokenSecret", accessTokenSecret)
val conf = new SparkConf().setAppName("TrendingHashTags")
val ssc = new StreamingContext(conf, Seconds(batchInterval.toInt))
val tweets = TwitterUtils.createStream(ssc, None, filters)
val tweetsFilteredByLang = tweets.filter{tweet => tweet.getLang() == lang}
val statuses = tweetsFilteredByLang.map{ tweet => tweet.getText()}
val words = statuses.flatMap{status => status.split("""\s+""")}
val hashTags = words.filter{word => word.startsWith("#")}
val hashTagPairs = hashTags.map{hashtag => (hashtag, 1)}
val tagsWithCounts = hashTagPairs.updateStateByKey(
(counts: Seq[Int], prevCount: Option[Int]) =>
prevCount.map{c => c + counts.sum}.orElse{Some(counts.sum)}
)
val topHashTags = tagsWithCounts.filter{ case(t, c) =>
c > minThreshold.toInt
}
val sortedTopHashTags = topHashTags.transform{ rdd =>
rdd.sortBy({case(w, c) => c}, false)
}
sortedTopHashTags.print(showCount.toInt)
ssc.start()
ssc.awaitTermination()
}
}
我解决了这个问题,我发现我使用的Java9与scala版本不兼容,所以我从Java9迁移到Java8。
我正在尝试设置一个预测IO引擎以在我的项目中进一步使用,我在为推荐引擎构建预测应用程序时遇到了这个问题 Java版本 Scala版本
我安装了Java-11-openjdk-amd64,并在usr/lib/jvm/Java-11-openjdk-amd64/bin/java的auto中运行了它,在我的桌面上安装了Scala 2.11.12和spark 2.2.0以及Hadoop2.7,在windows 10上运行了linux mint VM19.2。我在打开Spark-shell时出错: 我还在主目录中的。bashrc文件中定义
我在Eclipse中pom.xml中收到错误消息。 http://Maven.apache.org/Maven-v4_0_0.xsd“>4.0.0com.hmis chmis war 1.0-快照chmis Maven Webapp http://Maven.apache.org 这是我的pom.xml。当我运行该程序时,会出现如下错误。
问题内容: 我正在尝试使用Ant将Web应用程序打包到war文件中。 构建时,出现以下错误: 以下是我的build.xml 如何编译没有主类的类文件? 如何设置课程路径? 作为参考,我正在使用Eclipse。 问题答案: 除了需要在JDK的/ lib目录中的tools.jar的javac任务以外,所有您的蚂蚁工具都可以正常工作,在这种情况下,JRE是不够的。因此,来自ant的提示是:“无法找到ja
我无法从命令行编译Maven项目。我使用的是Maven版本: Apache Maven 3.5.4 null 这是我的pom.xml(没有依赖项): 新的堆栈跟踪是:
旋转对象 旋转对象功能可使对象围绕指定的固定点翻转。默认的参考点是对象的中心点。如果选区中包含多个对象,则这些对象将围绕同一个参考点旋转,默认情况下,这个参考点为选区的中心点或定界框的中心点。若要使每个对象都围绕其自身的中心点旋转,请使用 “分别变换 ”命令。 旋转工具(左侧)与分别变换命令(右侧)的结果对比图 另请参阅 第 197 页的 “变换面板概述 ”第 181 页的 “移动对象 ”第 19