当前位置: 首页 > 知识库问答 >
问题:

已分区表中的配置单元加载

张昊穹
2023-03-14

共有1个答案

墨承泽
2023-03-14

Ning Zhang在http://grokbase.com/t/hive/user/114frbfg0y/can-i-use-hive-dynamic-partition-while-load-data-into-tables上对这个话题有很大的反响。

快速上下文是:

  1. 加载数据只是复制数据,它不读取数据,因此它无法确定要对什么进行分区
  2. 建议您先将数据加载到中间表中(或使用指向所有文件的外部表),然后让分区动态插入启动,将其加载到分区表中
 类似资料:
  • 我试图为我的表创建分区,以便更新一个值。 这是我的样本数据 我想把珍妮特的部门更新到B。 为此,我创建了一个以Department为分区的表。 创建外部表trail(EmployeeID Int、FirstName String、Designation String、Salary Int),按(Department String)行格式分隔字段进行分区,以“,”location'/user/sre

  • 我正在使用Spark2.0,我想知道,是否可以列出特定配置单元表的所有文件?如果是这样,我可以直接使用spark增量地更新这些文件。如何向配置单元表添加新分区?有没有关于蜂巢转移瘤的api我可以从Spark使用? 有什么方法可以获得映射dataframe的内部配置单元函数吗 我的主要理由是对表进行增量更新。现在,我知道的唯一方法是SQL+,这不是很有效,因为他将覆盖所有表,而我主要感兴趣的是对某些

  • 1-创建了源表 2-将数据从本地加载到源表 3-创建了另一个带有分区的表-partition_table 我不确定如何在外部表中进行分区。有人能帮我一步一步地描述一下吗?。

  • 我使用的是版本。我正试图将一个分区的配置单元表加载到一个数据表中,在这个数据表中,配置单元表是按号进行分区的,在一个场景中,我可能有104个分区。 如果你对我有什么建议,请告诉我。 谢了。