BigQuery：此表的dml插入操作太多

Question

我正试图通过Python客户端将不同计算机（n=20）上的2亿多条记录导入我的BigQuery表。每台计算机每10分钟运行一次。第二个作业（具有多行）

from google.cloud import bigquery
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = os.getcwd() + '/api.json'

print('Import job started, total rows:' + str(len(queries)))
client = bigquery.Client()
for q in queries:
    results = client.query(q)
    for err in results:
        print(err)

但我得到了以下错误：

google.api_core.exceptions.禁止： 403超出速率限制：此表的表dml插入操作太多。有关详细信息，请参阅https://cloud.google.com/bigquery/troubleshooting-errors

正在运行时生成数据。所以我必须在运行时导入数据。我也不确定BigQuery是否适合这样做。扳手似乎更好，但它花了我太多的钱。

如何避免这个错误？非常感谢你。

Answer 1

有4种将数据插入到BigQuery表中的主要方法。

1. 批量加载一组数据记录。
2. 串流单个记录或批量记录。
3. 使用查询生成新数据，并将结果追加或覆盖到表中。
4. 使用第三方应用程序或服务。

我认为您正在使用第三个选项，即DML INSERT。它不是为大规模高频数据加载用例设计的。

在您的用例中，第二个选项，流式数据，似乎是一个很好的选择。

实例

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of table to append to.
# table_id = "your-project.your_dataset.your_table"

rows_to_insert = [
    {u"full_name": u"Phred Phlyntstone", u"age": 32},
    {u"full_name": u"Wylma Phlyntstone", u"age": 29},
]

errors = client.insert_rows_json(table_id, rows_to_insert)  # Make an API request.
if errors == []:
    print("New rows have been added.")
else:
    print("Encountered errors while inserting rows: {}".format(errors))

你可以在这里看到更多细节。https://cloud.google.com/bigquery/streaming-data-into-bigquery