如何创建BigQuery数据传输w/Python服务帐户？

Question

我试图使用Python和google cloud BigQuery datatransfer在BigQuery中创建一个新的数据传输作业，但遇到了错误：

谷歌。api_核心。例外情况。PermissionDenied:403用户没有足够的权限：bigquery。转移。需要对项目ID进行更新

我在下面加入了我的代码，这不是很有趣。我在设置GOOGLE\u应用程序\u凭据=/path/to/secrets/service帐户时运行此程序。json。此服务帐户具有所有者状态，因为我认为提高其权限可能会使我通过权限错误。

现在我开始觉得这个API对服务帐户根本不起作用，还是我疯了？我在文档中看到了authorization\u code和CheckValidAuth，但它说它们是可选的。

Google BigQuery数据传输API是否适用于服务帐户？

import os
import boto3
from google.cloud import bigquery_datatransfer_v1
import google.protobuf.json_format

client = bigquery_datatransfer_v1.DataTransferServiceClient()

parent = client.project_path('PROJECT_ID')

transfer_config = {
    "destination_dataset_id": "neilo",
    "display_name": "NeilO Data Transfer Test",
    "data_source_id": "amazon_s3",
    "params": {
        "destination_table_name_template": "test_table",
        "data_path": "s3://bucket/path/to/files/*.csv.gz",
        "access_key_id": os.environ['AWS_ACCESS_KEY_ID'],
        "secret_access_key": os.environ['AWS_SECRET_ACCESS_KEY'],
        "file_format": "CSV"
    },
    "schedule": "daily"
}

transfer_config = google.protobuf.json_format.ParseDict(
    transfer_config, bigquery_datatransfer_v1.types.TransferConfig())

response = client.create_transfer_config(parent, transfer_config)

问题是

Answer 1

问题是我设置时输入错误的GOOGLE_APPLICATION_CREDENTIALS，所以我无意中使用了错误的服务号。我添加了以下代码来验证正确的项目：

from google.cloud import bigquery
assert bigquery.Client().project == 'PROJECT_ID'

我还使用编辑器的最小内置角色确保服务号具有bigquery.transfers.update权限：