我的HDF总是向许多损坏的块报告

Question

有102块缺失。以下文件可能已损坏：

当我跳转到name node并读取log in（namenode文件日志）时，我收到了许多警告，如：

来自DatanodeRegistration的错误报告(10.3.24.71,DatanodeUUID=B1AA43EB-BD9C-4E1A-B919-D7C99AD0FCDF,InfoPort=50075,IPCPort=50020,StorageInfo=LV=-56；CID=CID-9F27DFEA-17F6-41EB-95D2-50424DC78FA9；NSID=197210444；C=0):

无法发送无效块BP-352432948-10.3.24.65-1433821675295:BLK_1074188011_949972

是我的硬盘出了问题还是别的什么问题？

Answer 1

如本文所述

原因

您的HDFS文件系统中的某些文件已经损坏，可能是丢失了上一个块副本，或者只是复制不足。

注意：由teragen生成的临时文件或伪造的样本数据存在很大的风险，因为这些文件的复制因子通常默认设置为1，如果一个副本的数据阳极关闭，则该文件将无法修复地损坏（例如丢失）。

故障排除步骤

要获得导致问题的文件的全部详细信息,可以运行以下命令：

  $ hdfs fsck / -files -blocks -locations

1）这种情况可能只是暂时的，如果您有一个数据复制不足，它应该只是自动复制块到其他数据节点，以匹配复制因子

2）如果不是自己复制，请运行一个平衡器（如果您使用HBase，请不要运行HDFS平衡器！）

3）您可以手动设置特定文件的复制，该文件被复制到比当前更高的文件，从而引导集群创建更多的副本。

$ hdfs fsck / -delete