Spring云数据流-如何将凭据传递给任务

Question

我使用部署到pivotal cloud foundry的spring云数据流，将spring批处理作业作为spring云任务运行，这些作业需要aws凭据才能访问s3存储桶。

我尝试将aws凭据作为任务属性传递，但凭据作为参数或属性显示在任务的日志文件中。(https://docs.spring.io/spring-cloud-dataflow/docs/current/reference/htmlsingle/#spring-云数据流全局属性）

目前，我在每次部署后将凭证手动设置为pcf中的env变量，但我正在尝试将其自动化。任务在实际启动之前不会部署，因此在部署时，我必须启动任务，然后等待它由于缺少凭据而失败，然后使用cli设置env变量凭据。我如何提供这些凭证，而不在pcf应用程序的日志中显示？

我还探索了使用vault和spring cloud config，但同样，我需要向任务传递凭据才能访问spring cloud config。

谢谢！

Answer 1

在考虑了所提供答案中包含的方法后，我继续测试和研究并得出结论，最好的方法是使用Cloud Foundry“用户提供的服务”为任务提供AWS凭据。

https://docs.cloudfoundry.org/devguide/services/user-provided.html

Spring Boot自动处理每个应用程序容器中包含的VCAP_服务环境变量。

http://engineering.pivotal.io/post/spring-boot-injecting-credentials/

然后，我在application-cloud.properties中使用属性占位符将处理后的属性映射到spring-blod-aws属性：

cloud.aws.credentials.accessKey=${vcap.services.aws-s3.credentials.aws_access_key_id}
cloud.aws.credentials.secretKey=${vcap.services.aws-s3.credentials.aws_secret_access_key}

Answer 2

任务的安全凭据应该通过任务定义中的环境变量进行配置，或者使用Spring Cloud Config Server之类的工具来提供（并在静止时加密存储）。Spring Cloud任务将所有命令行参数以明文形式存储在数据库中，这就是为什么它们不应该以这种方式传递。

Answer 3

下面是一个任务/批处理作业示例。

此应用程序使用spring cloud starter aws。这个启动器已经提供了引导自动配置和覆盖AWS Cred作为引导属性的能力。

您可以在从SCDF启动时覆盖属性，例如：

任务启动--名称S3LoaderJobs--参数"--cloud.aws.credentials.access键=--cloud.aws.credentials.secret键=--cloud.aws.region.static=--cloud.aws.region.auto=false"

您可以决定控制任务的日志级别，这样它就不会以纯文本形式记录它们。