使用Scala的MapReduce程序
我正在尝试运行一个用scala编写的mapreduce程序。我已经在类路径中包含了scala库。运行程序时，我的程序抛出以下错误。
$hadoop jar~/HadoopScala。jar com。学习火花字数/输入/字数输入。csv/output-libjars ~/lib/org。scala-lang.scala-library\u 2.12.2。v20170412-161608-VFINAL-21d12e9。线程“main”java中的jar异常。lang.NoClassDefFoundError:scala/Predef$位于com。学习火花WordCount美元。com上的main（WordCount.scala:52）。学习火花字数。sun的main（WordCount.scala）。反映NativeMethodAccessorImpl。在sun调用0（本机方法）。反映NativeMethodAccessorImpl。在sun上调用（NativeMethodAccessorImpl.java:62）。反映DelegatingMethodAccessorImpl。在java上调用（DelegatingMethodAccessorImpl.java:43）。lang.reflect。方法在org调用（Method.java:498）。阿帕奇。hadoop。util。RunJar。在org上运行（RunJar.java:234）。阿帕奇。hadoop。util。RunJar。main（RunJar.java:148）由：java引起。lang.ClassNotFoundException：scala。java的Predef$。网URLClassLoader。java上的findClass（URLClassLoader.java:381）。lang.ClassLoader。java上的loadClass（ClassLoader.java:424）。lang.ClassLoader。loadClass（ClassLoader.java:357）
斯卡拉。Predef$在scala库中可用。导致此错误的原因可能是什么。
共有1个答案
首先，您不是在运行mapReduce作业，而是在运行Spark作业。
如果您要将此火花作业提交给纱线，您应该使用spack-递交。
在任何情况下，你都想建造一个胖罐子（又名优步罐子）。
使用SBT时，请尝试SBT组件
-
主要内容：Word Count,集群模式在学习了之前的 MapReduce 概念之后，我们应该已经知道什么是 Map 和 Reduce，并了解了他们的工作方式。 本章将学习如何使用 MapReduce。 Word Count Word Count 就是"词语统计"，这是 MapReduce 工作程序中最经典的一种。它的主要任务是对一个文本文件中的词语作归纳统计，统计出每个出现过的词语一共出现的次数。 Hadoop 中包含了许多经典的 M
-
主要内容：MyWordCount.java 文件代码在学习了 MapReduce 的使用之后，我们已经可以处理 Word Count 这类统计和检索任务，但是客观上 MapReduce 可以做的事情还有很多。 MapReduce 主要是依靠开发者通过编程来实现功能的，开发者可以通过实现 Map 和 Reduce 相关的方法来进行数据处理。 为了简单的展示这一过程，我们将手工编写一个 Word Count 程序。 注意：MapReduce 依赖 Ha
-
我刚刚在Intellij中设置了Scala（以及SDK和JDK） 文件- 创建了一个项目。 项目名称src下-- 我做错了什么。请帮忙
-
我在Scala2.11.1和Hzaelcast 3.5中使用kryo进行序列化。我试图将数据放在hazelcast映射中，但我得到了KryoException 下面是我的用户类序列化程序 现在，当我将用户类对象从Hcast客户端放入相应的映射中时，如下所示 它给了我这些例外： 以下是中的 请帮帮我！！
-
嘿，伙计们，我正在跟踪http://www.tutorialspoint.com/hadoop/hadoop_mapreduce.htm。使用这个运行程序后 我收到以下错误： 2004年9月16日20:32:14警告用户。NativeCodeLoader：无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类 2004年9月16日20:32:15信息配置。弃用：会话。id已弃用
-
一、背景 最近总在弄MR的东西，所以写点关于这个方面的内容，总结一下吧 二、流程描述 说实话，文字描述比较苍白，画了个图，贴出来，大家看看，有问题欢迎指出 三、总结 1、值得提出的是，一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。 2、分组的操作是对key的值进行比较分组。（可以是复合key，也可以是单一的key） 3、关于job.setSortComparato