BigQuery：处理频繁模式更改的最佳方法？

Question

我们的 BigQuery 模式是大量嵌套/重复的，并且不断变化。例如，网站的新页面、表单或用户信息字段将与 BigQuery 中的新列相对应。此外，如果我们停止使用某种形式，相应的弃用列将永远存在，因为您无法删除Bigquery中的列。

因此，我们最终将生成包含数百列的表，其中许多列已被弃用，这似乎不是一个好的解决方案。

我正在研究的主要替代方案是将所有内容都存储为json（例如，每个Bigquery表将只有两列，一列用于时间戳，另一列用于json数据）。然后我们每10分钟运行一次的批处理作业将执行连接/查询并写入聚合表。但是使用这种方法，我担心会增加查询作业成本。

一些背景信息：

我们的数据以原型形式出现，我们根据原型buf模式更新更新我们的bigquery模式。

我知道一个显而易见的解决方案是不使用BigQuery，而只使用文档存储，但是我们使用Bigquery作为数据湖，也作为BI的数据仓库，并基于。所以我们有将原始数据聚集到服务Tableau的表中的工作。这里的第一个答案对我们来说不太适用，因为我们得到的数据可能被重复嵌套:big query:Create column of JSON datatype

Answer 1

我认为这个用例可以使用带有动态目标功能的数据流（或Apache Beam）来实现。数据流的步骤如下：

1. 从pubsub读取事件/json
2. 将事件展平，并在要插入BQ表的列上放置过滤器。
3. 使用动态目的地，您将能够将数据插入到相应的表中（如果您有各种类型的各种事件）。在动态目的地中，您可以根据json中的字段动态指定架构
4. 从动态目标中获取失败的插入记录，并根据您的用例（您观察此类问题的频率）在一些窗口之后将其写入特定事件类型的文件。
5. 读取文件并更新架构一次并将文件加载到该BQ表

我已经在我的用例中实现了这个逻辑，它工作得很好。

Answer 2

你已经准备好了，你在你的问题中布局了几个选项。

您可以使用JSON表来保持低成本

• 您可以使用分区表
• 您可以将您的表集群

因此，我不会只有两个时间戳json列，而是添加1个分区列和5个集群列。最终甚至使用年度后缀表。这样，您至少有 6 个维度可以仅扫描有限数量的行以进行重新物质化。

另一种方法是更改模型，并执行事件处理中间层。您可以首先将所有事件连接到Dataflow或Pub/Sub，然后在那里进行处理，并将其作为新模式写入bigquery。该脚本将能够使用您在引擎中编写的模式动态创建表。

顺便说一句，您可以删除列，这是重新实现，您可以使用查询重写同一个表。您也可以重新实现以删除重复的行。