我正在使用eclipse导出map-reduce程序的jar文件。当我使用命令运行jar
hadoop jar hadoop-prog.jar WordCount /home/temp/input /home/temp/output
它总是显示错误:
Exception in thread "main" java.lang.ClassNotFoundException: WordCount
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:149)
顺便说一句,我从互联网上得到了wordcount的示例jar文件,它运行得很好。
我不知道问题出在哪里。
如果您尝试运行示例中提供的单词计数,则应运行:
hadoop jar hadoop*examples*.jar wordcount /home/temp/input /home/temp/output
有关如何在此链接上运行wordcount的更多信息。
通常,如果您要开发自己的Map / Reduce作业,则应包括驱动程序类的完整程序包名称,这样类似的事情可能会起作用:
hadoop jar wordcount.jar com.something.WordCount /home/temp/input /home/temp/output
Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughpu
一、背景 1、起源 MapReduce编程模型的思想来源于函数式编程语言Lisp,由Google公司于2004年提出并首先应用于大型集群。同时,Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。在2007年,Google’s MapReduce Programming Model-Revisted论文发表,进一步详细介绍了Google MapReduce模型以及S
顺便说一下,对于给定的类,我如何知道Maven中哪个工件包含它?例如,哪个包含org.apache.hadoop.io.text?
问题内容: 我正在编写第一个Hadoop应用程序,但出现错误。我不太了解此堆栈跟踪中的一些细节是什么意思。这是一个。我正在Ubuntu Linux v12.10,Eclipse 3.8.0,Java 1.6.0_24上构建它。我通过从Apache站点下载并使用Ant构建它来安装Hadoop。 创建工作时,我的崩溃发生在程序的第一行。 控制台输出: 问题答案: 您应该添加找到的所有jar,以避免此类
我是一个有点新的地图缩小,所以如果任何人可以指导我与下面的问题,这将是伟大的 > 我在map Reduce中使用了多输出格式来写入分离输出文件。让我们假设我的输入文件有水果和蔬菜,因此把它分成两个文件。水果和蔬菜如下。 水果-R-00000,蔬菜-R-00000,部分-R-00000 我搞不清有多少减速器会运转?我知道,默认情况下,减速器的数量被设置为1,由于文件名的数字部分是相同的,我相信只有一
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名空间到你的 Spring 项目即可快速使用 Hadoop 了,使用该项目无需了解过多 Hado