在Hadoop中，什么存储在dfs.data.dir（在hdfs-site.xml参数中）
我创建了一个目录，如下所示，并使用以下语法创建hive表
a） 1）dfs-mkdir/应用程序/hadoop/仓库/
2） 创建表employee（empid int，name string，姓氏string）行格式分隔字段，以“，”location“/app/hadoop/warehouse/”结尾；
3） 加载数据到路径“/输入文件位置。txt'覆盖到表employee中；
如果我的理解是正确的，那么所有的块都存储在/app/hadoop/warehouse/directory下。请确认？
b） dfs的目的是什么。数据hdfs站点中的dir参数。xml，对于我们在这里提到的目录？
c）我们作为步骤a）的一部分创建的目录应该在步骤b）中提到什么？
感谢你的澄清
谢谢Naveen
共有1个答案
1）请在此处查看Apache留档，了解有关dfs.data.dir和其他属性的更多详细信息。
2）文件系统是原始数据的抽象，因此块不存储在 /app/hadoop/warehouse/文件夹中。块存储在hdfs-site.xml.中dfs.data.dir属性指定的DN中
3） 在配置单元中，逻辑表应与HDFS中的数据相关联。因此，在创建表时，应该指定HDFS中的文件夹名称。
-
为了学习，我正在4节点集群上安装Hadoop2.9.0。我已经按照Apache Hadoop 2.9.0的官方文档和一些google页面开始了namenode的安装/配置。 我编辑了位于$hadoop_home/etc/hadoop目录下的hdfs-site.xml,如下所示： 当我运行“hadoop namenode-format”时，它在/tmp/hadoop-hadoop/...下格式化默认
-
问题内容： 任何人都可以用C，C ++和Java清楚地解释一下。什么都在堆栈上，什么都在堆上以及何时分配。 我所知道的， 每个函数调用的所有局部变量（无论是基元，指针还是引用变量）都在新的堆栈框架上。 使用new或malloc创建的所有内容都会进入堆。 我对几件事感到困惑。 是在堆上创建的对象成员的引用/基元是否也存储在堆上？ 以及在每个框架中递归创建的方法的那些本地成员呢？它们都在堆栈上吗？如果
-
tail-f/var/log/hadoop-hdfs/hadoop-hdfs-namenode-ip-172-30-2-148.log 2016-09-21 11:54:14,533 INFO BlockStateChange（8020上的IPC Server handler 10）：Block*InvalidateBlocks：添加blk_107374750_6677到172.30.2.189:
-
我已经安装了一个总共有3台机器的hadoop集群，其中2个节点充当Datanode，1个节点充当Namenode，还有一个Datanode。我想澄清一些关于hadoop集群安装和体系结构的疑问。下面是我正在寻找答案的问题列表--- 我在集群中上传了一个大约500MB大小的数据文件，然后检查hdfs报告。我注意到我制作的namenode在hdfs中也占用了500MB大小，还有复制因子为2的datan
-
初始化数据段 BSS 堆栈 堆 代码 现在考虑以下程序： 在上面的程序中，arr和x都是在main函数内本地声明的。我认为这意味着它们都将在函数堆栈上分配空间。但是，当我在linux上运行size命令时，我发现实际上正在为数组分配数据段中的空间。
-
我有一个map-reduce作业，并且reducer获得一个驻留在Azure Blob存储中的文件的绝对地址，并且reducer应该打开它并读取它的内容。在配置Hadoop集群（HDInsight）时，我添加了包含文件的存储帐户。因此，还原器必须有权访问这个Blob存储，但Blob存储不是我的作业的默认HDFS存储。我的reducer中有以下代码，但它给了我一个FileNotFound错误消息。