当前位置: 首页 > 面试题库 >

使用hadoop和Java命令执行map-reduce作业之间有什么区别

赵嘉纳
2023-03-14
问题内容

查找许多选项以运行映射减少程序。谁能解释下面这些命令之间的区别。以及对Map-reduce工作的影响(如果有)。

     java -jar MyMapReduce.jar [args]

     hadoop jar MyMapReduce.jar [args]

     yarn jar MyMapReduce.jar [args]

在这些命令中,哪个最好?

是否可以使用以下命令中的Web服务端口8088(YARN),使配置像使用Web服务上的Yarn和Job History(如display
Hadoop和yarn命令)正常显示有关作业的所有信息一样?

     java -jar MyMapReduce.jar [args]

问题答案:

他们中没有一个比另一个更好。执行java -jar命令时,它与执行非Hadoop应用程序相同。如果使用hadoop jaryarn jar,它将使用/usr/bin/hadoop/usr/bin/yarn脚本设置环境。

除非您修改了任何脚本以设置其他变量,否则三个脚本应该相同。



 类似资料:
  • 我是Hadoop新手。我试图根据Apache hadoop站点上给出的示例创建一个hadoop集群。 然而,当我运行map reduce示例时,应用程序卡在map 100%和reduce 0%。 请帮忙 我已经设置了使用Vagrant和Virtual Box的环境。创建了两个实例。 yarn-site.xml

  • 我发现了一个结果 alpha命令和beta命令有什么区别?

  • 我刚刚安装了Phonegap的第一个time.confuses我的事实是,一些文档正在使用命令“phonegap”和一些“cordova”是电话间隙和cordovan命令之间的区别?我需要使用哪个命令来创建phonegap应用程序?请任何人都可以帮助我?

  • 我无法理解如何将变量(输出)从Job1传递到Job2。 假设我的Job1是WordCount。N=230的最终减速器输出。 我的第二份工作的逻辑需要这些信息。但我不想把它作为映射器输入。我希望输入与Job1相同。 我不喜欢使用计数器,因为我读到它不太可靠。 谢谢

  • 我创建的以下地图之间有什么不同(在另一个问题中,人们似乎可以互换地使用它们来回答,我想知道它们是否/如何不同):

  • 我想通过管道传输我的hadoop流作业。例如,我运行了一个命令hadoop jarhadoop-streaming.jar-mappermap1.pyreducer.py-inputxx输出 /output1 但是我想使用第一步的输出作为第二步mapduce作业的输入,而不存储在hdfs中,也许输出为标准输出。有没有像linux管道一样的东西?比如hadoop jarhadoop-streamin