Hadoop previous.checkpoint位置

Question

我的理解是previous.checkpoint目录应该创建在由“fs.checkpoint.dir”指定的secondary name节点下？在所有情况下，我都在“dfs.name.dir”指定的namenode目录下找到它。这和伪模式有关还是我的理解错了？有人能帮帮我吗！

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/lab/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/lab/hdfs/datanode</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoop/lab/hdfs/secnamenode</value>
    </property>
</configuration>

hadoop@ubuntu:~/lab/hdfs$ ls -l
total 12
drwxr-xr-x 6 hadoop hadoop 4096 Mar 14 03:41 datanode
drwxrwxr-x 5 hadoop hadoop 4096 Mar 14 03:41 namenode
drwxrwxr-x 4 hadoop hadoop 4096 Mar 14 04:46 secnamenode

hadoop@ubuntu:~/lab/hdfs$ ls -l namenode
total 12
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:13 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:34 previous.checkpoint

hadoop@ubuntu:~/lab/hdfs$ ls -l secnamenode
total 8
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:46 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock

如果你需要更多的细节请告诉我。

谢谢抹布

Answer 1

我对此进行了广泛而绝望的搜索。似乎存在一个长时间挂起的Bug HDFS-1839，它将从SecondarynameNode中删除previous.checkpoint目录。相同的bug可能是在namenode下创建此目录的原因。

到目前为止，我已经看到了hadoop的所有版本，在所有这些版本下，以前的.checkpoint目录都是在nameNode下创建的。

我希望这个bug很快就会被修复，或者Apache Hadoop澄清为什么目录是在NameNode下创建的