如何在Hadoop环境下执行Java编写的Hadoop作业
我有类文件加载到Hadoop文件系统，也有输入文件加载到HDFS。当我在终端中通过hadoop命令运行类文件时，出现了类找不到的错误。例如：我有HDFS内容为WordCount.Class WordCountMapper.Class WordCountReducer.Class SampleInpujt.txt
有人能纠正我哪里做错了吗？或者这是真的可以做到的。
共有1个答案
下面是我们每天在4节点Hadoop-2.2.0集群上运行Java mapreduce作业时使用的命令行，它运行良好。我们从namenode运行它，但集群中的任何机器都可以正常工作。
hadoop jar ~/..path../mr_orchestrate/target/mr-orchestrate-1.0.jar com.rr.ap.orchestrate.MROrchestrate /user/hduser/in/Sample_15Feb2014.txt /user/hduser/out/out15Feb2014
您可能需要“-libjars”选项来添加其他库路径。
-
主要内容：Docker 部署,创建容器,Hadoop 安装由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况，这对于学习者来说会制造诸多障碍，主要有两个： 昂贵的计算机集群。多计算机构成的集群环境需要昂贵的硬件. 难以部署和维护。在众多计算机上部署相同的软件环境是一个大量的工作，而且非常不灵活，难以在环境更改后重新部署。 为了解决这些问题，我们有一个非常成熟的方式 Docker。 Docke
-
主要内容：1.虚拟机环境准备,2.安装JDK,3.安装Hadoop,4.Hadoop目录结构1.虚拟机环境准备 （1）在/opt目录下创建module、software文件夹 （2）修改module、software文件夹的所有者cd 2.安装JDK 1. 卸载现有JDK （1）查询是否安装Java软件： （2）如果安装的版本低于1.7，卸载该JDK： （3）查看JDK安装路径： 2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面，如图2-28所示 “
-
很长一段时间以来，我一直很头疼，目前我的hadoop集群是这样的，我有40个salve节点要运行，每个从节点我配置了25个映射器和10个简化器，所以我可以同时启动40*25=1000个映射器和400个简化器。好的，现在我有以下工作： job1:我配置为运行5个映射器和5个简化器job2:我配置为运行20个映射器和10个简化器job3:我配置为运行975个映射器和385个简化器 假设我使用默认的FI
-
问题内容： 我知道的版本的具有功能合并多个文件到一个新的。 但是该版本的API不再支持该功能。 关于如何将目录中的所有文件合并到hadoop版本的新单个文件中的任何想法？ 问题答案： FileUtil＃copyMerge方法已被删除。查看主要更改的详细信息： https://issues.apache.org/jira/browse/HADOOP-12967 https://issues.apac
-
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 二、前置条件 Hadoop 的运行依赖 JDK，需要预先安装。其安装步骤单独整理至： Linux 下 JDK 的安装 三、配置免密登录 3.1 生成密匙 在每台主机上使用
-
我正在用Hadoop写一个mapreduce。在reduce方法中，我想用context.write()。但是输出是int类型。我该怎么做？当我使用context.write()时，它显示一个错误: 第二个参数不能是int。 这是我的代码： 这个减少计算一些东西。然后它应该写键和计数变量。 我该怎么做？ 答复 我找到了我的答案。我应该新建一个IntWritable类并使用它的方法(set(intV