我们的公司策略要求启用策略约束“compute.requireshieldevm”。但是,运行云数据流作业时,无法创建工作进程,错误如下:
约束/计算。项目项目违反了RequireshieldVM/************。启动磁盘的“初始化”参数。source_image'字段指定非屏蔽映像:projects/dataflow service producer prod/global/images/dataflow-dataflow-owned-resource-20200216-22-rc00。看见https://cloud.google.com/resource-manager/docs/organization-policy/org-policy-constraints了解更多信息。"
在运行数据流作业时,是否有任何方法请求将SHILEDVM用于辅助计算?
无法提供自定义映像,因为在作业提交期间没有可以提供的参数,如此处作业提交参数所示
或者,如果您正在运行基于Python的数据流作业,您可以通过安装文件设置环境。一个例子可以在这里找到数据流-自定义Python包环境
我创建了一个简单的光束管道,如下所示 我(非常有限)的理解是,作为flex模板的一部分创建的docker映像只是在Dataflow上启动作业,所以不太明白它为什么抱怨java目录不存在。任何线索都将不胜感激。
我当前正尝试将Dataflow与pub/sub一起使用,但出现以下错误: 工作流失败。原因:(6E74E8516C0638CA):刷新凭据时出现问题。请检查:1。已为项目启用Dataflow API。2.您的项目有一个机器人服务帐户:service-[project number]@dataflow-service-producer-prod.iam.gserviceAccount.com应该可以
Spring Boot版本为1.5.6 使用的数据库是SQL Server2016,它也是在docker(windows容器)上。 问题:每当我重新启动SQL DB容器时,应用程序开始给出这个错误。 任何想法可以做什么来解决这个问题。 多谢了。
我们的Google Cloud数据流管道程序调用了一些动态链接到*的库。所以要运行它,我需要设置linux环境变量LD_LIBRARY_PATH。有一种方法可以做到这一点:https://groups.google.com/forum/#!主题/综合。java。程序员/LOu18 OWAVM,但我想知道是否有一种方法可以在执行管道之前使用一些运行shell脚本的作业来实现这一点?
我已经用Python SDK(Apache Beam Python 3.7 SDK 2.19.0)构建了一个窗口流数据流管道。初始数据的表示如下: 其思想是找出给定窗口中每行号码的平均通话长度。数据作为CSV的行从pub/sub中读取,我向所有行添加一个与该数字的平均调用长度相对应的值: 我使用以下管道: 有什么想法吗?
根据文档,来自的room实例应该保存的数据是persist。但还是迷路了。我的项目必须数据库 第一个数据库 @database(实体=[foodmodel::class],version=4,exportSchema=false)抽象类FoodDatabase:RoomDatabase(){ 第二数据库 抽象类MyFoodDatabase:RoomDatabase(){abstract val M