当前位置: 首页 > 知识库问答 >
问题:

我在运行简单的单词计数程序时出错了

赏梓
2023-03-14

我在运行wordcount程序时出错。

我试过python shell

from pyspark import SparkContext

sc = SparkContext("local", "count app")

words = sc.parallelize (
   ["scala", 
   "java", 
   "hadoop", 
   "spark", 
   "akka",
   "spark vs hadoop", 
   "pyspark",
   "pyspark and spark"]
)

counts = words.count()

print("Number of elements in RDD -> %i" % (counts))

在org.apache.xbean.asm6.classreader.(classreader.java:136)

在org.apache.xbean.asm6.classreader.(classreader.java:237)

在org.apache.spark.util.ClosureCleaner$.GetClassReader(ClosureCleaner.scala:49)

在org.apache.spark.util.FieldAccessFinder$$anon$3$$anonFun$VisitMethodInsn$2.apply(ClosureCleaner.scala:500)

在Scala.Collection.TraversableLelike$WithFilter$$AnonFun$Foreach$1.Apply(TraversableLelike.Scala:733)

在scala.collection.mutable.hashmap$$anon$1$$anonfun$foreach$2.apply(Hashmap.scala:134)

在scala.collection.mutable.hashmap$$anon$1$$anonfun$foreach$2.apply(Hashmap.scala:134)

在scala.collection.mutable.hashtable$class.foreachentry(Hashtable.scala:236)

在Scala.Collection.Mutable.HashMap.ForeachEntry处(HashMap.Scala:40)

在org.apache.xbean.asm6.classreader.readcode(classreader.java:2175)

在org.apache.xbean.asm6.classreader.readmethod(classreader.java:1238)

在org.apache.xbean.asm6.classreader.accept(classreader.java:631)

在org.apache.spark.util.closurecleaner$$anonfun$org$apache$spark$util$closurecleaner$$clean$14.apply(closurecleaner.scala:307)

在org.apache.spark.util.closurecleaner$$anonfun$org$apache$spark$util$closurecleaner$$clean$14.apply(closurecleaner.scala:306)

在scala.collection.immutable.list.foreach(list.scala:392)

在org.apache.spark.util.closurecleaner$.org$apache$spark$util$closurecleaner$$clean(closurecleaner.scala:306)

在org.apache.spark.util.closurecleaner$.clean(closurecleaner.scala:162)

在org.apache.spark.sparkcontext.clean(sparkcontext.scala:2326)

在org.apache.spark.sparkcontext.runjob(sparkcontext.scala:2126)

在org.apache.spark.rdd.rdd$$anonfun$collect$1.apply(RDD.scala:945)

在org.apache.spark.rdd.rddoperationscope$.withscope(Rddoperationscope.scala:151)

在org.apache.spark.rdd.rddoperationscope$.withscope(Rddoperationscope.scala:112)

在org.apache.spark.rdd.rdd.collect上(rdd.scala:944)

在org.apache.spark.api.python.pythonrdd$.collectandserve(pythonrdd.scala:166)

在org.apache.spark.api.python.pythonrdd.collectandserve(pythonrdd.scala)

在java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.Invoke(DelegatingMethodAccessorImpl.java:43)

在java.base/java.lang.reflect.method.invoke(method.java:567)

在py4j.reflection.methodInvoker.Invoke(MethodInvoker.java:244)

在py4j.reflection.reflectionengine.invoke(reflectionengine.java:357)

在py4j.gateway.invoke(gateway.java:282)

在py4j.commands.abstractCommand.InvokeMethod(abstractCommand.java:132)

在py4j.gatewayconnection.run(gatewayconnection.java:238)

在java.base/java.lang.thread.run(thread.java:835)

共有1个答案

颛孙星海
2023-03-14

Spark不能使用高于9的Java版本,请尝试降级到Java 8

 类似资料:
  • 我指的是学习 C 的 K 和 R 书;它是关于在字数统计程序中使用 EOF 的 while 循环,书中给出的程序运行良好,但我想知道它如何在一次输入后停止接受输入并给出带有行、单词、 请帮助我理解这个程序中到底发生了什么来打破循环。 附加代码和输出 -

  • 我正在尝试执行简单的hibernate java程序- 使用的文件:hibernate。cfg。xml,员工。cfg。Java类:HibernateUtil。爪哇,员工们。爪哇,性别。java(Enum),InsertIntoEmployee。JAVA InsertIntoEmployee的代码。JAVA 获取以下错误: Classpath条目如下: 在过去的三天里,我一直在讨论这个问题。 谷歌搜

  • 在尝试运行我的代码时出现了这个持续的错误,我无法理解它的含义以及如何使其正确。 C: \code\sentmentanalysis \venv\sentment-alysis \Scripts\python。exe“C:/code/sentimentanalysis/main.py跟踪(最近一次调用): 文件”C:/code/entimentanalysis/main。py”,第1行,在impor

  • 错误:不可转换类型 我的登录文件的代码: 我的struts配置文件的代码: 我的loginform文件的代码 公共类LoginForm{String userName;String password;公共字符串getUserName(){System.out.println(“内部getter”userName);返回userName;}public void setUserName(字符串用户名

  • 开始调试时,出现以下错误: 正在启动lib\main。调试模式下ONEPLUS A5000上的dart。。。lib\main。dart:1E/AndroidRuntime(11211):以书面形式命名,pkgName:com。刚出现的包裹azabazar E/AndroidRuntime(11211):致命异常:主E/AndroidRuntime(11211):进程:com。刚出现的包裹阿扎巴扎,

  • 我知道甚至这个问题已经被提出了几次,但没有找到解决这个问题的方法。我使用的编译命令:。我使用的运行命令: 错误: