当前位置: 首页 > 知识库问答 >
问题:

配置单元:插入覆盖多个分区

长孙星汉
2023-03-14

非常感谢任何帮助。

共有1个答案

孟昆
2023-03-14

配置单元支持动态分区,因此您可以构建一个查询,其中分区只是源字段之一。

INSERT OVERWRITE TABLE dst partition (dt) 
SELECT col0, col1, ... coln, dt from src where ...

where子句可以指定要覆盖的dt值。

只需将partition字段(在本例中为dt)包含在源列表的最后一个,如果dt字段已经是源的一部分,您甚至可以执行select*、dtselect*、my_udf(dt)作为dt等操作

set hive.exec.dynamic.partition.mode=nonstrict;
 类似资料:
  • 我正在编写一个将HBASE-0.98.19与HIVE-1.2.1集成的示例。我已经使用以下命令在hbase中创建了一个表 然后创建了'testemp'用于将数据导入到'hbase_table_emp'。下面的代码显示了创建'testemp'表的方法 到现在,一切正常。但当我运行命令时 ps:类路径中包含了hbase.jar、zookeeper.jar和guava.jar。 提前道谢。

  • 我正在与AWS工作,我有使用Spark和Hive的工作流。我的数据是按日期分区的,所以每天我的S3存储中都有一个新分区。我的问题是,当有一天加载数据失败时,我不得不重新执行那个分区。接下来编写的代码是: 在我的流动中发生了什么?如果我使用savemode.overwrite,完整的表将被删除,并且只保存分区。如果我使用savemode.append,我可能会有重复的数据。 我想要的是:在表中,分区

  • 我使用,但这给我带来了partitionBy和intsertInto不能同时使用的问题。

  • 插入覆盖失败,出现空指针异常- 失败:NullPointerException为空

  • 我需要将记录流插入到配置单元分区表中。表结构类似于 我想了解一下Hive是如何处理内部表中的插入的。 是否将所有记录插入到yyyy_mm_dd=2018_08_31目录中的单个文件中?或者配置单元在一个分区内拆分为多个文件,如果是,什么时候拆? 如果每天有100万条记录,并且查询模式介于日期范围之间,那么下面哪一条性能好? 内部表中没有分区 按日期分区,每个日期只有一个文件 按日期分区,每个日期有