当前位置: 首页 > 知识库问答 >
问题:

在Hadoop中,什么存储在dfs.data.dir(在hdfs-site.xml参数中)

魏凯捷
2023-03-14

我创建了一个目录,如下所示,并使用以下语法创建hive

a) 1)dfs-mkdir/应用程序/hadoop/仓库/

2) 创建表employee(empid int,name string,姓氏string)行格式分隔字段,以“,”location“/app/hadoop/warehouse/”结尾;

3) 加载数据到路径“/输入文件位置。txt'覆盖到表employee中;

如果我的理解是正确的,那么所有的块都存储在/app/hadoop/warehouse/directory下。请确认?

b) dfs的目的是什么。数据hdfs站点中的dir参数。xml,对于我们在这里提到的目录?

c)我们作为步骤a)的一部分创建的目录应该在步骤b)中提到什么?

感谢你的澄清

谢谢Naveen

共有1个答案

西门奇希
2023-03-14

1)请在此处查看Apache留档,了解有关dfs.data.dir和其他属性的更多详细信息。

2)文件系统是原始数据的抽象,因此块不存储在 /app/hadoop/warehouse/文件夹中。块存储在hdfs-site.xml.中dfs.data.dir属性指定的DN中

3) 在配置单元中,逻辑表应与HDFS中的数据相关联。因此,在创建表时,应该指定HDFS中的文件夹名称。

 类似资料:
  • 为了学习,我正在4节点集群上安装Hadoop2.9.0。我已经按照Apache Hadoop 2.9.0的官方文档和一些google页面开始了namenode的安装/配置。 我编辑了位于$hadoop_home/etc/hadoop目录下的hdfs-site.xml,如下所示: 当我运行“hadoop namenode-format”时,它在/tmp/hadoop-hadoop/...下格式化默认

  • tail-f/var/log/hadoop-hdfs/hadoop-hdfs-namenode-ip-172-30-2-148.log 2016-09-21 11:54:14,533 INFO BlockStateChange(8020上的IPC Server handler 10):Block*InvalidateBlocks:添加blk_107374750_6677到172.30.2.189:

  • 问题内容: 任何人都可以用C,C ++和Java清楚地解释一下。什么都在堆栈上,什么都在堆上以及何时分配。 我所知道的, 每个函数调用的所有局部变量(无论是基元,指针还是引用变量)都在新的堆栈框架上。 使用new或malloc创建的所有内容都会进入堆。 我对几件事感到困惑。 是在堆上创建的对象成员的引用/基元是否也存储在堆上? 以及在每个框架中递归创建的方法的那些本地成员呢?它们都在堆栈上吗?如果

  • 我已经安装了一个总共有3台机器的hadoop集群,其中2个节点充当Datanode,1个节点充当Namenode,还有一个Datanode。我想澄清一些关于hadoop集群安装和体系结构的疑问。下面是我正在寻找答案的问题列表--- 我在集群中上传了一个大约500MB大小的数据文件,然后检查hdfs报告。我注意到我制作的namenode在hdfs中也占用了500MB大小,还有复制因子为2的datan

  • 初始化数据段 BSS 堆栈 堆 代码 现在考虑以下程序: 在上面的程序中,arr和x都是在main函数内本地声明的。我认为这意味着它们都将在函数堆栈上分配空间。但是,当我在linux上运行size命令时,我发现实际上正在为数组分配数据段中的空间。

  • 我有一个map-reduce作业,并且reducer获得一个驻留在Azure Blob存储中的文件的绝对地址,并且reducer应该打开它并读取它的内容。在配置Hadoop集群(HDInsight)时,我添加了包含文件的存储帐户。因此,还原器必须有权访问这个Blob存储,但Blob存储不是我的作业的默认HDFS存储。我的reducer中有以下代码,但它给了我一个FileNotFound错误消息。