如何更新带扣的orc格式的配置单元表中的多个列

Question

我可以更新单个列，但不能更新从另一个表引用的多个列。

我启用了所有ACID属性以支持配置单元（1.2.1）表更新

我有两张桌子，

表1：

模式：

创建表table1（emp_id int，emp_name string，etime timestamp）

数据：

emp_id | emp_name | etime

1|大卫|2016-01-08 12:27:30

约翰2016-01-08 12:27:45

表二

架构：

创建表table2（emp_id int，emp_name string，etime timestamp），由（emp_id）聚集到4个存储桶中，存储为orc TBLProperty（'transactional'='true'）

数据：

emp_id | emp_name | etime

1 | davi | 2016-01-08 12:02:30

2 |约翰尼| 2016-01-08 11:20:45

3 | kiran | 2016-01-08 11:01:36

现在我想根据table1数据更新table2中的所有列，比如比较两个表的emp_id。我希望输出如下

表2：

emp_id | emp_name | etime

1|大卫|2016-01-08 12:27:30

约翰2016-01-08 12:27:45

3 | kiran | 2016-01-08 11:01:36

Answer 1

在Hive中更新所有列没有意义。Hive不同于RDBMS。如果上面的表是一个10亿行、200列的表，那么这个过程会非常慢，而且不是使用Hive的有效方法。您可以使用Hbase实现这一点，并将数据从Hbase拉入Hive。然而，在Hive中，我用于上述场景的方法是在第二个表中有一个is_valid（Binary）字段。

例子：

表二

架构：

创建表table2（emp_id int，emp_name string，etime timestamp，is_vald boolean），通过（emp_id）将其聚集到4个存储为orc TBLProperty的存储桶中（'transactional'='true'）；

数据：

emp|u id | emp|u name | etime |有效吗

1 | davi | 2016-01-08 12:02:30 |正确

2 |约翰尼| 2016-01-08 11:20:45 |正确

3|基兰|2016-01-08 11:01:36|真

使用左向外连接来识别更改的记录（我建议在这里使用视图）

创建视图更新_emp_id_vw作为选择t1。表1 t1中的emp_id在t1上左半连接表2 t2。emp_id=t2。emp_id

插入表2从表1中选择emp_id，emp_name，etime，trueemp_id（从update_emp_id_vw中选择emp_id）

表2：

emp|u id | emp|u name | etime |有效吗

1 | davi | 2016-01-08 12:02:30 |假

2 |约翰尼| 2016-01-08 11:20:45 |假

3|基兰|2016-01-08 11:01:36|真

1 |大卫| 2016-01-08 12:27:30 |对

2 |约翰| 2016-01-08 12:27:45 |对

稍后，您只能查询_valid=true的字段。如果您不希望表2中的历史记录，可以删除其中为_valid=false的行。

您还可以实现其他几个逻辑。如果要将其用作缓慢变化的标注，这是一个选项。如果要跟踪历史记录，可以将当前_时间戳字段添加到表2中。（更多信息可在此博客中找到：https://hortonworks.com/html" target="_blank">hadoop-tutorial/using-hive-acid-transactions-insert-update-delete-data/)

希望这有帮助。。。

Answer 2

试试这个：

更新table2 sett2.etime=t1.etime从table2 t2左向外连接table1 t1t1.emp_id=t2.emp_idt1.emp_id不为空