当前位置: 首页 > 知识库问答 >
问题:

在多节点集群上的 Hadoop 中运行字数统计示例中的异常

万俟英锐
2023-03-14

我跟随教程的链接在这里

我正确配置了所有步骤。但是在步骤8中,这是使用字数统计的示例MapReduce作业,当我执行命令时,它会引发异常

./bin/hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

我该怎么解决这个问题。例外如下:-

  hduser@ila:/usr/local/hadoop-0.22.0/bin$ ./hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
    Exception in thread "main" java.io.IOException: Error opening job jar: /home/ila/hadoop-0.20.1-examples.jar
    at org.apache.hadoop.util.RunJar.main(RunJar.java:130)
    Caused by: java.util.zip.ZipException: error in opening zip file
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.(ZipFile.java:114)
    at java.util.jar.JarFile.(JarFile.java:133)
    at java.util.jar.JarFile.(JarFile.java:70)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:128)

提前感谢…[:)][:)]

共有2个答案

通正平
2023-03-14

我猜你的主目录(/家/ila)中没有hadoop-0.20.1-.jar文件?

可能会修改如下(根据您到hadoop命令的相对路径):

./bin/hadoop hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

虽然我从您提供的链接中看到,但系统提示您下载示例jar-您也在哪里下载了此文件?这应该是您提供的路径

索卓
2023-03-14

错误是因为命令(/home/ila/hadoop-0.20.1-examples.jar)中引用的jar文件不存在。很明显,您正在使用hadop-0.22.0,并且不会随附hadoop-0.20.1-examples.jar

尝试在hadoop安装目录中找到hadoop-*-example jar并在命令中使用它。这应该可以解决问题。通常它将被命名为hadoop-0.22.0-examples.jar,因为jar命名与hadoop版本相关。

 类似资料:
  • 我正试图在hadoop中设置多节点集群,如何将0个数据阳极作为活动数据阳极,而我的hdfs显示了0个字节的分配 但是nodemanager后台进程正在datanodes上运行 `

  • jps输出正确: 在主机上: 在5个从节点上:

  • 根据如何在Ubuntu中安装Apache Hadoop2.6.0(多节点/集群设置),我将Hadoop2.6.0设置为1个主服务器和2个从服务器。毕竟,我在master和slaves上检查了jps,看起来都很好:master上的NameNode、SecondaryNameNode、ResourceManager;和DataNode,从服务器上的NodeManager。但是当我浏览到Hadoopma

  • 我需要在不同的机器上配置一个Kafka集群,但它不起作用,当我启动生产者和消费者时,将显示以下错误: 你能帮帮我吗。

  • 并编写下面的查询,它是只在我的master上运行,还是将所有10个节点都用作worker? 如果不是,我必须做什么才能让我的Spark Sql使用完整的集群?

  • 我试图找到这个问题的答案,但在kubernetes文档或任何问答论坛中都找不到。 我有一个运行有4个节点的kubernetes集群。是否可以创建第二个集群,重用前一个集群中的一个或多个节点?或者一个节点被限制在单个kubernetes集群中? 我正在使用RKE(用于部署k8集群的牧场工具)运行实际的集群,我发现这个问题让我怀疑这种可能性。 感谢您的澄清。