NameNode如何识别特定的文件复制是设置值，而不是配置的复制3？

Question

hdfs-site.xml：

DFS.Replication值已配置%3

null

如果不是，会怎么样？

Answer 1

首先，我想尝试重申你的问题，以求澄清，确保我明白：

NameNode是否将手动设置为低于默认值(dfs.replication)的复制因子的文件视为欠复制？

不会。NameNode将每个文件的复制因子单独存储在其元数据中，即使复制因子没有通过调用-setrep显式设置。默认情况下，每个文件的元数据将复制dfs.replication（示例中为3）中指定的复制因子。可以重写它，例如通过调用-setrep。当NameNode检查文件是否复制不足时，它会检查存储在元数据中的该文件的确切复制因子，而不是dfs.replication。如果文件的复制因子为2，并且每个块都有2个副本，那么这是很好的，并且NameNode不会认为它是欠复制的。

你的问题也提到了来自数据阳极的心跳，我想这意味着你对数据阳极和名称节点之间的交互作用如何与复制相关感兴趣。DataNodes和NameNodes之间还有另一种形式的通信，称为块报告。块报告是DataNodes告诉NameNodes它们存储哪些块副本的手段。NameNode分析来自所有数据阳极的块报告，以确定块是复制不足还是复制过度。如果一个块复制不足（例如，复制因子为2，但只有一个副本），则NameNode会调度重新复制工作，以便另一个DataNode生成副本的副本。如果一个块被过度复制（例如复制因子为3，但有4个副本），那么NameNode会调度其中一个副本被删除，最终其中一个Datanode会在本地删除它。