Google Cloud Dataflow serviceaccount没有传播给员工？

Question

我们有多个Google Cloud Dataflow作业（用Java/科特林编写），它们可以以两种不同的方式运行：

1. 从用户的Google Cloud帐户启动
2. 从serviceaccount启动（具有所需的策略和权限）

当从用户的帐户运行Dataflow作业时，Dataflow向工作者提供默认的控制器serviceaccount。它不向工人提供授权用户。

当从serviceaccount运行Dataflow作业时，我想象使用setGcpCredential设置的serviceaccount将传播到Dataflow在后台使用的工作VM。JavaDocs没有提到这一点，但它们确实提到了凭据用于对GCP服务进行身份验证。

在Dataflow的大多数用例中，我们在project A中运行Dataflow作业，而在project B中读取BigQuery。因此，我们为用户提供了对project B中BigQuery数据集的读取器访问权限，以及以上述第二种方式使用的serviceaccount。同一serviceaccount在project A中还将具有BigQuery的jobUser和dataViewer角色。

现在，问题是，在这两种情况下，我们似乎都需要为默认控制器serviceaccount提供访问Dataflow作业中使用的BigQuery数据集的权限。如果不这样做，当作业试图访问project B中的dataset时，我们将得到BigQuery的权限被拒绝（403）。对于所描述的第二种方式，我希望Dataflow独立于默认控制器ServiceAccount。我的预感是Dataflow不会将PipelineOptions中设置的serviceaccount传播给Workers。

通常，我们提供project、region、zone、临时位置(gcpTempLocation、tempLocation、stagingLocation)、runner类型（在本例中为DataflowRunner）和gcpCredential作为PipelineOptions。

那么，Google Cloud Dataflow真的将提供的serviceaccount传播给工人吗？

更新

我们首先尝试添加options.setServiceAccount（如Magda所示），而不添加IAM权限。这将导致数据流日志中出现以下错误：

{
  "code" : 403,
  "errors" : [ {
    "domain" : "global",
    "message" : " Current user cannot act as service account [e-mail]. Causes: Current user cannot act as service account [e-mail]..",
    "reason" : "forbidden"
  } ],
  "message" : " Current user cannot act as service account [e-mail].. Causes: Current user cannot act as service account [e-mail].",
  "status" : "PERMISSION_DENIED"
}

之后，我们尝试将roles/iam.serviceAccountUser添加到这个服务帐户。不幸的是，这导致了同样的错误。此serviceaccount已具有IAM角色Dataflow worker和BigQuery作业用户。默认的计算引擎控制器[e-mail]只有编辑器角色，我们没有添加任何其他IAM角色/权限。

Answer 1

我想你也需要设置控制器服务帐户。可以在数据流管道选项中使用options.setServiceAccount（“[e-mail]”）。

您将需要添加一些附加权限：

>

对于控制器：数据流工作者和存储对象管理。

对于执行程序：服务帐户用户。

这是我在谷歌文档中找到的，我自己也试过了。

我想这可能会给你一些启示：

要使BigQuery源和接收器正常运行,以下两个帐户必须能够访问云数据流作业读取或写入的任何BigQuery数据集：

-用于执行云数据流作业的GCP帐户

-运行云数据流作业的控制器服务帐户

例如，如果您的GCP帐户是[e-mail]，并且执行云数据流作业的项目的项目号是123456789，则必须向以下帐户授予对所使用的BigQuery数据集的访问权限:[e-mail]和[e-mail]。

更多信息，请访问:https://cloud.google.com/dataflow/docs/concepts/security-and-permissions#controller_service_account