当前位置: 首页 > 知识库问答 >
问题:

将数据从txt表加载到orc表配置单元查询

丁安宜
2023-03-14

我的主要目标是创建一个存储为ORC的表。为此,我遵循了以下步骤

我创建了一个文件夹/user/hive/external,并在同一位置创建了两个表(table_txt和table_orc)。直到将数据加载到table_txt中,它才是好的。

INSERT OVERWRITE TABLE table_orc SELECT * FROM table_txt;

2-当我查询table_txt时,为什么它没有给出任何数据?而在查询table_orc时,我会得到结果?

共有1个答案

国高杰
2023-03-14

创建了两个表...在同一位置==>红旗!!!

它是定义哪些数据文件属于哪个表的位置。换句话说,每个表都应该位于私有目录上。

因此insert overwrite删除了ORC表私有目录中的所有内容,然后创建了一个新的数据文件--采用ORC二进制格式。这是预期的行为。可惜TXT文件也在那里。

顺便说一句,“外部”表和“托管”表之间的区别在于,当您删除托管表时,整个目录将被销毁,而删除外部表则保持数据原样。

 类似资料:
  • 我创建了一个兽人蜂巢表,如下所示: 但是在spark jobs控制台中:它显示了与上述查询跳过的阶段(1)相关的一个作业--spark JDBC服务器查询

  • 我有一个Hive表,它的数据存储为ORC。我在某些字段中写入空值(空白,‘“”),但有时当我对该表运行select查询时,空字符串列在查询结果中显示为NULL。我想看看我输入的空值,这怎么可能?

  • 我试图为我的表创建分区,以便更新一个值。 这是我的样本数据 我想把珍妮特的部门更新到B。 为此,我创建了一个以Department为分区的表。 创建外部表trail(EmployeeID Int、FirstName String、Designation String、Salary Int),按(Department String)行格式分隔字段进行分区,以“,”location'/user/sre

  • 我试图在Azure数据仓库中为配置单元表创建一个polybase外部表,配置单元表存储为ORC(HD insight Data lake)并按日期分区,当我在SQL server中查询外部表时,没有任何正确的错误消息。 当我不使用分区时,我可以使用外部表访问配置单元ORC表,但使用分区时,我会得到以下错误,而没有任何正确的错误消息。 创建外部表DL_ClickStream_fnl( . .)由存储

  • 我有一个配置单元表保存在ORC文件中,这是“create”命令中的定义: 我想从末尾删除一个列,所以我尝试了“alter table-replace columns”命令,在这里我没有写列名--但是得到了这个错误:

  • 我在Hive(beeline)中创建了一个表,下面的命令是: 我还有一个小的自定义文件,其中包含示例记录,如: 有什么想法吗?