消除 BigQuery 表中的重复记录

Question

我计划每天向BigQuery表添加增量数据。每次向现有表添加增量数据时，我都希望从表中现有数据中消除重复记录（基于主键列）。一种方法是：-

1. 从增量数据中收集密钥集（让我们称之为INCR_KEYS）
2. 在 - 从表中选择all_cols，其中pkey_col不在（INCR_KEYS））的行上运行查询，并将结果存储在新表中。
3. 将增量数据追加到新表中。

我对这种方法的担忧是，它会创建一个大桌子的副本，并添加到我的账单中。

有没有更好的方法可以在不创建重复表的情况下实现相同的目标？

Answer 1

您可以设置新的目标表，只查询计数并按所有列分组:

SELECT
  FIELD1,
  FIELD2,
  FIELD3,
  FIELD4
FROM (
  SELECT
    COUNT (*),
    FIELD1,
    FIELD2,
    FIELD3,
    FIELD4
  FROM
    [<TABLE>]
  GROUP BY
    FIELD1,
    FIELD2,
    FIELD3,
    FIELD4)

Answer 2

您可以在目标表设置为现有表的情况下运行查询，并将写入处置设置为截断：

bq query --allow_large_results --replace --destination_table=mydataset.mytable \
    'SELECT * FROM mydataset.mytable
     WHERE key NOT IN (SELECT key FROM mydataset.update)'
bq cp --append_table mydataset.update mydataset.mytable

我相信这将工作，但我认为这是值得采取备份，尤其是因为你可以删除它后不久。

bq cp mydataset.mytable mydataset.backup
# You can also build the new table in one pass:
bq query --allow_large_results --replace --destination_table=mydataset.mytable \
    'SELECT * FROM (
         SELECT * FROM mydataset.mytable
         WHERE key NOT IN (SELECT key FROM mydataset.update)
     ), (
         SELECT * FROM mydataset.update
     )'
bq rm mydataset.backup

Answer 3

我不知道有什么方法可以在不创建重复表的情况下做到这一点——这听起来是一个非常聪明的解决方案。

但是，您的增量成本可能非常小 - BigQuery仅在数据存在的时间内向您收费。如果您删除旧表，则只需为两个表支付几秒钟或几分钟的费用。