我已经在ubuntu上安装了hadoop,它运行在VirtualBox上。当我第一次安装hadoop时,我可以毫无问题地启动hdfs和创建目录。
但是当我重新启动虚拟机后,当尝试在HDFS上运行ls命令时,我得到了“拒绝连接”的错误。然后,我根据Hadoop集群设置在sshd_config中添加了“端口9000”-java.net.connectException:Connection Relection,现在我得到了“LS:Failed on local Exception:com.google.protobuf.invalidProtocolBufferException:ProtocolBufferException:Protocol message tag had invalid wire type.;Host Details:local Host is:”Hadoop/127.0.1.1“;destination Host is:”LocalHost“:9000;”
-------etc/hadoop/core-site.xml-----
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
-------etc/hadoop/hdfs-site.xml-------
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
好的。我解决了。我运行jps,发现namenode无法启动。然后,当我试图找出问题所在时,我一直查看“hadoop-xxx-namenode-hadoop.out”,其中几乎没有任何有用的信息。因此,我查看了“hadoop-xxx-namenode-hadoop.log”,它清楚地显示了错误“org.apache.hadoop.hdfs.server.common.inconsistentfsstateException:目录/tmp/hadoop-xxx/dfs/name处于不一致的状态:存储目录不存在或不可访问。”
我做了更多的研究,发现默认情况下,Hadoop会将namenode和datanode文件放在系统临时目录中。当我重新启动时,目录被删除了。因此,我必须更改“hdfs-site.xml”并添加“dfs.namenode.name.dir”和“dfs.namenode.data.dir”属性。然后,当我尝试启动hdfs时,我得到了“地址已经在使用中”。我使用的端口是9000,重新启动后它与“TCP 0 0*:9000”绑定,所以我将core-site.xml中的“fs.defaultfs”改为使用9001。现在一切都可以开始了。
希望这能有所帮助。
我试图实现一个TCP连接,在服务器端一切正常,但当我运行客户端程序(从客户端计算机)时,我得到以下错误: 服务器代码: 客户端代码:
我想在伪分布式模式下设置一个hadoop-cluster。我设法执行了所有的设置步骤,包括在我的机器上启动一个Namenode、Datanode、Jobtracker和一个Tasktracker。 运行会得到如下输出(我用替换了其中的一部分): 启动和将导致以下输出: 在此之后不久调用将得到: 我还注意到不工作:
问题内容: 我正在尝试实现TCP连接,从服务器端一切正常,但是当我运行客户端程序(从客户端计算机)时,出现以下错误: 我尝试更改套接字号以防万一,但无济于事,有谁知道导致此错误的原因和解决方法。 服务器代码: 客户代码: 问题答案: 此异常意味着你尝试连接的IP /端口上没有侦听服务: 你试图连接到错误的IP /主机或端口。 你尚未启动服务器。 你的服务器没有监听连接。 在Windows服务器上,
我正在尝试创建一个简单的eureka服务器,它将检测其他微服务,并且所有其他微服务都可以通过它进行对话。我使用的是spring Boot2.0.3。 java文件(EurekaServerApplication.java服务器) 我尝试将两边的所有属性移动到bootstrap.application文件中,但没有成功。 我尝试了这个解决方案:https://github.com/spring-cl
我想在伪分布式模式下设置一个hadoop-cluster来进行开发。由于端口9000上的连接被拒绝,尝试启动hadoop集群失败。 /etc/hosts: 但是在开始调用之后,日志文件中有以下几行: hadoop-pschmidt-datanode-zaphod.log 我还可以寻找什么来启动和运行我的hdfs。不要犹豫,要求进一步的日志和配置文件。 提前谢了。