是否可以使用GCP中项目A的项目B模板触发数据流作业（Apache beam

Question

我正面临着一个问题，也需要同样的帮助。它与GCP数据流（Apache Beam）有关。

我正在寻找使用项目a中定义的服务帐户(sa-a@project-a)从其他项目a运行项目B的Dataflow模板的解决方案。sa-a@project-a已在项目B中具有必要的权限。

我已经尝试使用下面的gcloud命令

gcloud dataflow jobs run BigQueryToBigQuery \
    --gcs-location gs://{GCS bucket}/templates/BigQueryToBigQuery \
    --parameters query=bigQueryTableName={projectID}:{dataset}.{table} \
    --region=us-east1

其中使用的gcs-location是项目B中存在的模板的位置。

当我使用project A的服务帐户时，它会在project A中触发作业，但不会在project B中触发作业。当我使用project B的服务帐户运行它时，会引发错误当前用户不能充当服务帐户...。

任何帮助都将不胜感激。

Answer 1

我找到了解决方案，只是想在这里发布，这样它将对其他人也有帮助。

如果我们需要从项目a触发数据流作业并在项目B上运行它，那么就必须使用带有--project标志的上述命令。完整的命令是：

gcloud dataflow jobs run BigQueryToBigQuery \
    --gcs-location gs://{GCS_bucket}/templates/BigQueryToBigQuery \
    --parameters query=bigQueryTableName={projectA_ID}:{dataset}.{table} \
    --region=us-east1 \
    --project=projectB_ID