使用java在hadoop上运行mapreduce程序时出错
嘿，伙计们，我正在跟踪http://www.tutorialspoint.com/hadoop/hadoop_mapreduce.htm。使用这个运行程序后
hadoop jar units.jar hadoop.ProcessUnits input_dir output_dir
我收到以下错误：
2004年9月16日20:32:14警告用户。NativeCodeLoader：无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类
2004年9月16日20:32:15信息配置。弃用：会话。id已弃用。相反，请使用dfs。韵律学。会话id
2004年9月16日20:32:15信息jvm。JvmMetrics：使用processName=JobTracker，sessionId初始化JVM度量=
2004年9月16日20:32:15信息jvm。JvmMetrics：无法初始化processName=JobTracker、sessionId=-已初始化的JVM度量
2004年9月16日20:32:15警告mapreduce。JobResourceUploader：未执行Hadoop命令行选项分析。实现工具接口并使用ToolRunner执行应用程序以解决此问题。
16/09/04 20:32:15信息映射减少。JobSubmitter：清理暂存区域文件：/app/hadoop/tmp/mapred/staging/hduser932260839/. staging/job_local932260839_0001线程“main”中的html" target="_blank">异常ExitCodeException exitCode=1： chmod：无法访问'/app/hadoop/tmp/mapred/staging/hduser932260839/. staging/job_local932260839_0001'：没有这样的文件或目录
共有1个答案
从错误的最后几行可以看出，您正在运行的java程序无法访问文件夹/app/hadoop/。。。。。。。。。。。
解决方案是更改文件夹/应用程序/hadoop的所有权，如下所示：
chownUSER_NAME /app/hadoop
将“USER_NAME”替换为您的用户名。它工作正常！
-
我在java中运行mapreduce程序，它编译成功，但在运行时我使用的是EC2上的Hortonworks HDP2.0。 好心的帮助
-
hadoop@nodo1:/opt/hadoop$hadoop version hadoop 2.7.7 Subversion Unknown-r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac由stevel在2018-07-18T22:47Z用protoc 2.5.0从源代码处编译，带有校验和792E15D20B12C74BD6F19A1FB886490此命令使
-
我试图将批量加载map-reduce定制到HBase中，我遇到了reducer的问题。起初我认为我没有写好reducer，但是在reducer中抛出运行时异常并看到代码工作时，我意识到reducer根本没有运行。到目前为止，我看不出这个问题的一些常见答案有什么问题； 我的配置将mapoutput和output分开。 我的减速器和映射器具有覆盖功能。 我有Iterable，我的reducer输入是（
-
减速器正在计算所有相同的值： 然而，当我在hadoop上运行一个更大的数据集时，似乎丢失了一半的结果。当我在本地机器上使用cat input mapper.py sort reducer.py>out-local测试它时，如果输入合理地很小，它工作得很好，但是在更大的数据集上（例如1M个条目），本地输出文件的条目几乎是在Hadoop上运行mapreduce作业的两倍。代码有错误吗？还是我漏掉了什么
-
有一个叫做“袖扣”的程序，运行方式如下： 本程序以1个文件作为输入，在“output-dir”中生成4个文件作为输出。 多谢了。
-
> 我开发了一个javaFx应用程序，并在Mac的com.zenjava maven插件的帮助下创建了该应用程序的中间包。 bundle是用JDK:1.7.0_40.jdk创建的