Datanode错误：NameSystem.GetDataNode

Question

主服务器-XXX-141/142/143的日志（提取）是从服务器“”“”“”“”“”“”“”“”“”“”“”“”“”“行134：2016-01-23 17:36:19,432 ERROR org.apache.hadoop.hdfs.statechange：block*namesystem.getDataAnode：数据节点DataNode注册(xxx.xx.xx.143:50010,DataNodeUUID=6826238D-9213-4B19-A6EB-13115E3BEA8D,InfoPort=50075,InfoSecurePort=0,IPCPort=50020,预计节点172.31.22.141:50010将为该存储服务。

行135：2016-01-23 17:36:19,457 ERROR org.apache.hadoop.hdfs.statechange:block*namesystem.getDataAnode：数据节点DatanodeRegistration(xxx.xx.xx.142:50010,DataNodeUUID=6826238D-9213-4B19-A6EB-13115E3BEA8D,InfoPort=50075,InfoSecurePort=0,IPCPort=50020,StorageInfo=LV=-56；CID=CID-57295BBD-E78E-4265-99F7-FDACCCCB33A；预计节点172.31.22.141:50010将为该存储服务。

行159：2016-01-23 17:36:20,988 ERROR org.apache.hadoop.hdfs.statechange:block*namesystem.getDataAnode：数据节点DatanodeRegistration(xxx.xx.xx.141:50010,DataNodeUUID=6826238D-9213-4B19-A6EB-13115E3BEA8D,InfoPort=50075,InfoSecurePort=0,IPCPort=50020,StorageInfo=LV=-56；CID=CID-57295BBD-E78E-4265-99F7-FDAccCBCB33A预期节点xxx.xx.xx.143:50010将为该存储服务。

从SLAVE2服务器日志“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“

at org.apache.hadoop.ipc.Client.call(Client.java:1476)
at org.apache.hadoop.ipc.Client.call(Client.java:1407)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
at com.sun.proxy.$Proxy13.blockReport(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.blockReport(DatanodeProtocolClientSideTranslatorPB.java:199)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.blockReport(BPServiceActor.java:463)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:688)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:823)
at java.lang.Thread.run(Thread.java:745)

2016-01-23 17:36:18,610 WARN org.apache.hadoop.hdfs.server.Datanode.Datanode：结束块池BP-1050309752-mast.xx.xx.169-1453113991010（Datanode Uuid 6826238D-9213-4B19-A6EB-13115E3BEA8D)的块池服务到master/mast.xx.xx.169:9000 2016-01-23 17:36:18,611 INFO org.apache.hadoop.hdfs.server.Datanode.Datanode：已删除块池xx.xx.xx.142

Answer 1

看起来你有三个奴隶

172.31.22.141:50010
172.31.22.142:50010
172.31.22.143:50010

并且您从第一个从机的克隆中创建了其中的两个,该从机已经包含在集群中。这两个克隆现在已经有了DFS的副本，并且使用了与第一个从机相同的存储ID。名称服务器只需要一个具有相同ID的从机。它试图通过日志来告诉你这一点：

[...] is attempting to report storage ID [...].
Node [...]:50010 is expected to serve this storage.

您可以尝试删除其中两个从机上的dfs目录，然后重新启动它们。

rm -rf /tmp/hadoop-hadoop/dfs/

hdfs dfs -setrep -w 4 -R /user/somedir