当前位置: 首页 > 知识库问答 >
问题:

HdInsight Azure DW Polybase到配置单元表(ORC)的数据分区失败

朱炳
2023-03-14

我试图在Azure数据仓库中为配置单元表创建一个polybase外部表,配置单元表存储为ORC(HD insight Data lake)并按日期分区,当我在SQL server中查询外部表时,没有任何正确的错误消息。

当我不使用分区时,我可以使用外部表访问配置单元ORC表,但使用分区时,我会得到以下错误,而没有任何正确的错误消息。

创建外部表DL_ClickStream_fnl(

.

.)由存储为ORC的(TIME_STAMP日期)分区;

共有1个答案

余歌者
2023-03-14

在配置单元中,分区列是从目录元数据派生的虚拟列。PolyBase直接读取文件无法填充分区列。在您的SQL DW外部表DDL中,删除partitioned by列,您的加载应该可以工作。

 类似资料:
  • 我的主要目标是创建一个存储为ORC的表。为此,我遵循了以下步骤 我创建了一个文件夹/user/hive/external,并在同一位置创建了两个表(table_txt和table_orc)。直到将数据加载到table_txt中,它才是好的。 2-当我查询table_txt时,为什么它没有给出任何数据?而在查询table_orc时,我会得到结果?

  • 我创建了一个兽人蜂巢表,如下所示: 但是在spark jobs控制台中:它显示了与上述查询跳过的阶段(1)相关的一个作业--spark JDBC服务器查询

  • 我试图为我的表创建分区,以便更新一个值。 这是我的样本数据 我想把珍妮特的部门更新到B。 为此,我创建了一个以Department为分区的表。 创建外部表trail(EmployeeID Int、FirstName String、Designation String、Salary Int),按(Department String)行格式分隔字段进行分区,以“,”location'/user/sre

  • 查询示例: 典型错误消息: 处理语句时出错:失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapredTask返回代码2 问题2:当我运行命令?我是否只运行相同的命令,但使用STRING而不是bigint?**完整错误消息:**

  • 我在Hive有一个分区的兽人表。加载所有可能的分区后,我在HDFS上得到多个ORC文件,即HDFS上的每个分区目录中都有一个ORC文件。我需要将每个分区下的所有这些ORC文件组合成一个大的ORC文件,用于某些用例。 有人能给我建议一个方法,把这些多个ORC文件(属于每个分区)组合成一个单一的大ORC文件。 我试着从分区表创建一个新的非分区ORC表。它确实减少了文件的数量,但不会减少到单个文件。 p

  • 我有一个配置单元表保存在ORC文件中,这是“create”命令中的定义: 我想从末尾删除一个列,所以我尝试了“alter table-replace columns”命令,在这里我没有写列名--但是得到了这个错误: