如何在ORC分区配置单元表中间添加一列，并且仍然能够查询具有新结构的旧分区文件
alter table <table_name> SET TBLPROPERTIES('EXTERNAL'='TRUE');
[Simba][HiveJDBCDriver](500312) Error in fetching data rows: *org.apache.hive.service.cli.HiveSQLException:java.io.IOException: java.io.IOException: ORC does not support type conversion from file type array<string> (87) to reader type int (87):33:32;
共有1个答案
不需要删除并重新创建表。只需使用以下语句。
ALTER TABLE default.test_table ADD columns (column1 string,column2 string) CASCADE;
ALTER TABLE CHANGE COLUMN with CASCADE命令更改表元数据的列，并将相同的更改级联到所有分区元数据。
ps-这将在现有列的末尾但在分区列之前添加新列。遗憾的是，截至目前ORC还不支持在中间添加列。
-
我正在使用Spark2.0，我想知道，是否可以列出特定配置单元表的所有文件？如果是这样，我可以直接使用spark增量地更新这些文件。如何向配置单元表添加新分区？有没有关于蜂巢转移瘤的api我可以从Spark使用？ 有什么方法可以获得映射dataframe的内部配置单元函数吗 我的主要理由是对表进行增量更新。现在，我知道的唯一方法是SQL+，这不是很有效，因为他将覆盖所有表，而我主要感兴趣的是对某些
-
我在Hive有一个分区的兽人表。加载所有可能的分区后，我在HDFS上得到多个ORC文件，即HDFS上的每个分区目录中都有一个ORC文件。我需要将每个分区下的所有这些ORC文件组合成一个大的ORC文件，用于某些用例。 有人能给我建议一个方法，把这些多个ORC文件（属于每个分区）组合成一个单一的大ORC文件。 我试着从分区表创建一个新的非分区ORC表。它确实减少了文件的数量，但不会减少到单个文件。 p
-
问题内容： 我的桌子上有十亿多条记录。为了提高性能，我将其划分为30个分区。最频繁的查询包含在where子句中，因此我决定在表上对表进行分区。 基本上，分区是通过以下方式创建的： 我运行了整个数据库，尤其是通过运行以下命令使它为该表的列收集了额外的统计信息： 但是，当我运行对列进行筛选的查询时，计划程序会显示它仍在扫描所有分区。设置为，所以这不是问题。 我怎样做才能使刨床有更好的计划？我是否还需要
-
查询示例： 典型错误消息： 处理语句时出错：失败：执行错误，从org.apache.hadoop.hive.ql.exec.mr.MapredTask返回代码2 问题2：当我运行命令？我是否只运行相同的命令，但使用STRING而不是bigint？**完整错误消息:**
-
我想使用Python的结构模式匹配来区分元组（例如表示一个点）和元组列表。 尽管如此，直截了当的方法并不奏效： 其输出： 而我希望它输出： 在这里，切换case语句的顺序也没有帮助。 使用模式匹配解决此问题的好方法是什么？