hadoop存储目录使用的空间比HDFS上的总数据多
我有一个复制因子=3的三节点hadoop集群。
现在的问题是，尽管在660 GB集群上只有186GB的数据，但我的存储空间不足：HDFS显示了可用空间的巨大差异：
datanode1=7.47 GB
datanode2=17.7 GB
du -h --max-depth=1 /app/hadoop/tmp/
63G /app/hadoop/tmp/dfs
139G /app/hadoop/tmp/mapred
201G /app/hadoop/tmp/
du -h --max-depth=1 /app/hadoop/tmp/
126G /app/hadoop/tmp/mapred
62G /app/hadoop/tmp/dfs
188G /app/hadoop/tmp/
start-balancer.sh
starting balancer, logging to /usr/lib/hadoop-0.20/logs/hadoop-ocpe-balancer-blrkec241933d.out
Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved
The cluster is balanced. Exiting...
Balancing took 622.0 milliseconds
最近我的一个数据阳极坏了几天，修好后这个问题出现了。如何平衡负荷？
共有1个答案
您对磁盘空间的分析包括MapReduce暂存目录空间（/app/hadoop/tmp/mapred paths）,它们位于HDFS之外,大多数是作业完成时清除的临时数据。DFS空间（/app/hadoop/tmp/DFS）似乎与您预期的使用大小一致。
因此，您的磁盘空间不是被DataNodes占用的，而是被TaskTrackers占用的--重新启动它们会强制清除这些目录。
-
HDFS（HDP v3.1.0)的存储空间不足（这也导致spark作业在接受模式下挂起时出现问题）。我假设有一些配置可以让HDFS使用节点主机上已经存在的更多存储空间，但通过快速搜索并不清楚具体是什么。有更多经验的人能帮上忙吗？ 看看HDFS的磁盘使用情况，我看到... 对于总共消耗的约269GB（也许设置一个较短的时间间隔来启动历史清理也会有所帮助？）。看看HDFS上的空闲空间，我看到了...
-
我已经安装了一个总共有3台机器的hadoop集群，其中2个节点充当Datanode，1个节点充当Namenode，还有一个Datanode。我想澄清一些关于hadoop集群安装和体系结构的疑问。下面是我正在寻找答案的问题列表--- 我在集群中上传了一个大约500MB大小的数据文件，然后检查hdfs报告。我注意到我制作的namenode在hdfs中也占用了500MB大小，还有复制因子为2的datan
-
我们的Hadoop集群上的空间用完,该集群是以以下方式设置的： null 将系统分区作为HDFS数据目录添加到DataNode配置是否安全？ 恐怕Hadoop会填满分区，使系统无法使用。 最好的方法可能是设置、分离lvm卷或重新分区磁盘。但我会避免走这条路。
-
当我将hbase-site.xml中的hbase.rootdir配置设置为本地文件系统（如file:/hbase_root_dir_path）时，hbase工作正常，但当我将其更改为hdfs:/localhost:9000/hbase时，hbase开始时也正常。但过了一小段时间（通常是几秒钟），它就不起作用了。我发现HMaster用jps命令停止了。当然，我无法打开localhost:60010网
-
简介 注意：Xiaomi Cloud-ML服务访问HDFS数据，由于各个机房和用户网络环境差别，请首先联系Cloud-ML开发人员，咨询Cloud-ML服务是否可以访问特定的HDFS集群。 使用Docker容器 我们已经制作了Docker镜像，可以直接访问c3prc-hadoop集群。 sudo docker run -i -t --net=host -e PASSWORD=mypassword
-
我是Hadoop的新手，需要将Hadoop数据存储到MongoDB中。在这里，我使用Pig将Hadoop中的数据存储到MongoDB中。 在给定命令的帮助下，我在Pig Grunt shell中下载并注册了以下驱动程序， 在此之后，我使用以下命令成功地从MongoDB获取了数据。 然后，我尝试使用以下命令将数据从pig bag插入MongoDB，并获得成功。 然后我尝试使用下面的命令Mongo更新