Hadoop hdfs：系统分区上的DateNode目录？

Question

我们的Hadoop集群上的空间用完,该集群是以以下方式设置的：

null

将系统分区作为HDFS数据目录添加到DataNode配置是否安全？

恐怕Hadoop会填满分区，使系统无法使用。

最好的方法可能是设置、分离lvm卷或重新分区磁盘。但我会避免走这条路。

Answer 1

是的，Hadoop使用通用的文件写入API来写入块数据，并且尊重UNIX级别的配额。此外，还有配置属性dfs.datanode.du.reserved允许您为每个卷设置DataNodes不考虑写入的保留空间（应用于所有卷）。

但是，允许写入OS挂载通常是不好的做法。如果您想要寻找更多的存储空间（考虑到您已经达到了极限），那么购买更多的磁盘并将它们安装在数据阳极上可能会更好。