HDInsight Azure Blob存储更改

Question

在HDInsight集群上,使用CREATE外部语句创建配置单元表：

CREATE EXTERNAL TABLE HTable(t1 string, t2 string, t3 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasb://$containerName@$storageAccountName.blob.core.windows.net/HTable/data/';

然后更改一些现有的文件，将一些文件添加到CREATE语句中提到的Azure Blob容器中。

一个新的配置单元查询是否考虑对Blob容器所做的更改，同时将数据再次加载到配置单元表？

Answer 1

是的，您的表定义保存在蜂巢转移。随后，您可以简单地查询htable，数据就会出现在那里。通常，HDInsight上的配置单元遵循适用于配置单元和HDFS的相同规则。

对于更高级的讨论，你可以玩一些把戏，但你需要知道你在做什么。因为HDInsight存储可以在集群生存期内生存，所以使用HDInsight可以拆除集群并重新部署新的HDInsight集群，并且仍然拥有配置单元数据。您甚至可以保留Hive转移，也可以保留一个单独的数据库（SQL Azure DB）。对于基于HDFS的集群，集群的循环会导致所有HDFS数据的丢失。