使用现有模式将表数据从一个BigQuery表流式传输到另一个BigQuery表

Question

我有两个BigQuery数据集：dataset_a和dataset_b

这些数据集中的每一个都包含一个表，例如dataset_a_table和dataset_b_table

dataset_a_table包含流数据，我想将数据从dataset_a_table流式传输到dataset_b_table。

我有dataset_a_table类型TableSchema的架构。如何将流行从一个表复制到另一个表并保留现有架构？

到目前为止，我已经研究了BigQuery的insertAll方法，但是我有点不确定在哪个数据结构中获取行，以及在插入新表时如何指定TableSchema。

我希望能就如何做到这一点提供一些指导。谢谢

Answer 1

方法1：如果dataset_b_table需要简单地镜像dataset_a_table，例如因为您对两个数据集具有不同的用户权限，您可以考虑将dataset_b_table设置为视图而不是表。BigQuery中的视图跨数据集工作：

CREATE VIEW dataset_b.dataset_b_view AS SELECT * FROM dataset_a.dataset_a_table

方法2：如果您确实希望dataset_b_table具有与dataset_ a_table相同的模式，则可以使用BigQuery本地“传输”功能。（“转让”

方法 3：如果dataset_b_table具有与dataset_a_table不同的架构，或者dataset_b_table已包含数据，并且您希望合并来自dataset_a_table的数据，则需要某种增量逻辑。假设您的dataset_a_table具有某种“created_at”字段（也假设没有更新记录），那么您可以采用如下增量负载：

INSERT INTO dataset_b.dataset_b_table
SELECT
   column_a, column_b, column_c, updated_at
FROM dataset_a.dataset_a_table
WHERE updated_at>(SELECT max(updated_at) FROM dataset_b.dataset_b_table)

然后，您可以根据您的时间要求安排它运行，每天、每小时或每几分钟一次。您可以使用BigQuery本机调度功能或您自己的逻辑。

如果您需要以毫秒为单位的实际流，并且视图方法不适合您，那么您将需要首先使用填充dataset_a_table的源，因为BigQuery不支持触发器。