Biqquery:错误-某些行属于不同的分区，而不是目标分区

Question

我的表中有以下分区按“日期”分区

Row partition_id

1   20210222

2   20210223

我试图通过使用BigQuery python API覆盖这些分区20210222之一

我的tablename是table\u name$20210222，我使用WRITE\u TRUNCATE作为写入配置，但我得到以下错误：

google.api_core.exceptions.BadRequest: 400 Some rows belong to different partitions
      rather than destination partition 20210222

我希望能够通过python代码覆盖其中一个分区。它适用于WRITE\u APPEND和WRITE\u TRUNCATE但WRITE\u APPEND添加重复和WRITE\u TRUNCATE删除以前的表，只添加新数据。我想替换现有分区的数据。

Answer 1

您可能希望尝试直接使用MERGE语句覆盖特定分区上的数据，如下所示。

MERGE INTO `table` AS INTERNAL_DEST
USING (
 SELECT * FROM data_to_overwrite
) AS INTERNAL_SOURCE
ON FALSE

when not matched by source
    and INTERNAL_DEST.partition_id BETWEEN 20210222 AND 20210222 
          -- the range of the partitions to be overwritten
    then delete

when not matched then insert ROW

更新以获取更多注意事项和警告。

我想说这是我所知道的唯一可行的方法来更新这样的数据。将此查询包装在python代码中，并调用python代码来覆盖历史数据。

请注意，覆盖历史数据不符合BQ加载数据的最佳实践。它可以稀疏地用于批量更新数据。而且它决不能像我们在事务数据库中所做的那样用作事务性更新操作。

这被认为是一个DML操作，与其他数据加载方法相比，它的配额要低得多。有关BQ加载策略之间差异的详细信息，请参阅本文。BigQuery:此表的表dml插入操作太多

Answer 2

BigQuery转换并存储UTC时区中的所有时间戳值。因此，如果您有一个按DAY分区的表，并且您尝试在UTC以外的时区插入时间戳，那么它将首先转换为UTC，然后存储在相关分区中。

在您的例子中，您似乎有一个类似于2020-12-25 00:30:00 CET的值，它在存储时转换为UTC时是2020-12-24 23:30:00 UTC，因此它与同一天的其他值（在您的时区中）属于不同的分区。

这将导致您遇到的错误，因为您正试图覆盖特定分区，并且您正试图插入的某些项属于不同的分区。