我跟随教程的链接在这里
我正确配置了所有步骤。但是在步骤8中,这是使用字数统计的示例MapReduce作业,当我执行命令时,它会引发异常
./bin/hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
我该怎么解决这个问题。例外如下:-
hduser@ila:/usr/local/hadoop-0.22.0/bin$ ./hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
Exception in thread "main" java.io.IOException: Error opening job jar: /home/ila/hadoop-0.20.1-examples.jar
at org.apache.hadoop.util.RunJar.main(RunJar.java:130)
Caused by: java.util.zip.ZipException: error in opening zip file
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.(ZipFile.java:114)
at java.util.jar.JarFile.(JarFile.java:133)
at java.util.jar.JarFile.(JarFile.java:70)
at org.apache.hadoop.util.RunJar.main(RunJar.java:128)
提前感谢…[:)][:)]
我猜你的主目录(/家/ila
)中没有hadoop-0.20.1-.jar
文件?
可能会修改如下(根据您到hadoop命令的相对路径):
./bin/hadoop hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
虽然我从您提供的链接中看到,但系统提示您下载示例jar-您也在哪里下载了此文件?这应该是您提供的路径
错误是因为命令(/home/ila/hadoop-0.20.1-examples.jar
)中引用的jar文件不存在。很明显,您正在使用hadop-0.22.0
,并且不会随附hadoop-0.20.1-examples.jar
。
尝试在hadoop安装目录中找到hadoop-*-example jar
并在命令中使用它。这应该可以解决问题。通常它将被命名为hadoop-0.22.0-examples.jar
,因为jar命名与hadoop版本相关。
我正试图在hadoop中设置多节点集群,如何将0个数据阳极作为活动数据阳极,而我的hdfs显示了0个字节的分配 但是nodemanager后台进程正在datanodes上运行 `
jps输出正确: 在主机上: 在5个从节点上:
根据如何在Ubuntu中安装Apache Hadoop2.6.0(多节点/集群设置),我将Hadoop2.6.0设置为1个主服务器和2个从服务器。毕竟,我在master和slaves上检查了jps,看起来都很好:master上的NameNode、SecondaryNameNode、ResourceManager;和DataNode,从服务器上的NodeManager。但是当我浏览到Hadoopma
我需要在不同的机器上配置一个Kafka集群,但它不起作用,当我启动生产者和消费者时,将显示以下错误: 你能帮帮我吗。
并编写下面的查询,它是只在我的master上运行,还是将所有10个节点都用作worker? 如果不是,我必须做什么才能让我的Spark Sql使用完整的集群?
我试图找到这个问题的答案,但在kubernetes文档或任何问答论坛中都找不到。 我有一个运行有4个节点的kubernetes集群。是否可以创建第二个集群,重用前一个集群中的一个或多个节点?或者一个节点被限制在单个kubernetes集群中? 我正在使用RKE(用于部署k8集群的牧场工具)运行实际的集群,我发现这个问题让我怀疑这种可能性。 感谢您的澄清。