当前位置: 首页 > 知识库问答 >
问题:

加载配置单元分区表以触发数据规则

勾起运
2023-03-14

我使用的是Spark 1.4.1版本。我正试图将一个分区的配置单元表加载到一个数据表中,在这个数据表中,配置单元表是按year_week号进行分区的,在一个场景中,我可能有104个分区。

如果你对我有什么建议,请告诉我。

谢了。

共有1个答案

滕璞瑜
2023-03-14

使用hivecontext.sql(“select*from tableName where pt='2012.07.28.10'”)

其中,pt=partitionKey,在您的情况下将是year_week及其对应的值。

 类似资料:
  • 我试图为我的表创建分区,以便更新一个值。 这是我的样本数据 我想把珍妮特的部门更新到B。 为此,我创建了一个以Department为分区的表。 创建外部表trail(EmployeeID Int、FirstName String、Designation String、Salary Int),按(Department String)行格式分隔字段进行分区,以“,”location'/user/sre

  • 我在Hive(beeline)中创建了一个表,下面的命令是: 我还有一个小的自定义文件,其中包含示例记录,如: 有什么想法吗?

  • 查询示例: 典型错误消息: 处理语句时出错:失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapredTask返回代码2 问题2:当我运行命令?我是否只运行相同的命令,但使用STRING而不是bigint?**完整错误消息:**

  • 先声明一下,这不是Hadoop的生产环境。这是一个我们测试工作流的单节点环境

  • 我的主要目标是创建一个存储为ORC的表。为此,我遵循了以下步骤 我创建了一个文件夹/user/hive/external,并在同一位置创建了两个表(table_txt和table_orc)。直到将数据加载到table_txt中,它才是好的。 2-当我查询table_txt时,为什么它没有给出任何数据?而在查询table_orc时,我会得到结果?