从多行的pandas Dataframe更新BigQuery表的最佳方法是什么

Question

现在，我想用新的预处理数据更新表。一种方法是使用SQL语句并调用bigquery.client()类的query函数。或者用这里这样的工作。

bqclient = bigquery.Client(
            credentials=credentials,
            project=project_id,
            )

query = """UPDATE `dataset.table` SET field_1 = '3' WHERE field_2 = '1'"""
bqclient.query(query_string)

但是为每行创建update语句是没有意义的。

我发现的另一种方法是使用pandas-gbq包的to_gbq函数。缺点是，它更新所有表。

问题：从pandas DataFrame更新Bigquery表的最佳方式是什么？

Answer 1

Google BigQuery主要用于数据分析，当您的数据是静态的，您不必更新一个值，因为ArquitEduction基本上就是做这种思考。因此，如果您想更新数据，有一些选项但非常繁重：

1. 您提到的那个，使用逐行查询和更新。
2. 仅使用新值重新创建表。
3. 用不同的时间戳追加新数据。
4. 使用分区表[1]，如果可能，使用群集表[2]，这样，当您想要更新表时，可以使用分区列和群集列来更新它，这样查询就会减少工作量。此外，您还可以将新数据追加到一个新的分区表中，比如在当前的一天。

如果您是出于分析的原因使用数据，也许最好的选择是2和3，但我总是建议使用[1]和[2]。