用_PARTITIONTIME从现有表在BigQuery中创建一个聚集表

Question

我试图创建一个新的聚集表< code>db.new_table，它与BigQuery中的现有表< code>db.old_table具有相同的数据和模式。现有表有一个伪列< code>_PARTITIONTIME，我希望新表也有这个< code>_PARTITIONTIME伪列。

我尝试过使用DDL，查询如下:

CREATE TABLE `db.new_table`
PARTITION BY DATE(_PARTITIONTIME)
CLUSTER BY field1, field2
AS SELECT * FROM `db.old_table`
WHERE _PARTITIONTIME > '1990-01-01'

但是它失败了，因为我们无法使用按日期分区（_PARTITIONTIME），后跟AS SELECT ...。如 https://cloud.google.com/bigquery/docs/reference/standard-sql/data-definition-language 所述

有没有办法做到这一点？（创建一个新的集群表，该表使用相同的精确模式和由伪列_PARTITIONTIME分区的旧表中的数据。）

感谢任何回答和评论。

注意：我可以创建一个类似的表，而无需_PARTITIONTIME类似的查询：

CREATE TABLE `db.new_table`
PARTITION BY partition_date
CLUSTER BY field1, field2
AS SELECT DATE(_PARTITIONTIME) AS partition_date, * FROM `db.old_table`
WHERE _PARTITIONTIME > '1990-01-01'

然而，因为系统中的许多东西都依赖于＜code＞db。old_table，分区字段从＜code>_PARTITIONTIME更改为＜code＞partition_date

Answer 1

您只需预先创建一个名为＜code＞db的日分区集群表（在任何字段上）。new_table使用BQ UI或＜code＞BQ

表存在后，您可以将“for day day”填充为：

bq query --allow_large_results --append_table --noflatten_results --destination_table 'db.new_table$19900101' "select field1, field2, field3 from db.old_table where _PARTITIONTIME = '1990-01-01'";

注意两件事：

• 您必须每天单独运行此查询（这将花费您几乎相同的费用，因此不必担心）。
• db.new_table$19900101指向db.new_table 1990-01-01的分区。