好的团队...Dataprep运行到BigQuery。我一辈子也找不到为什么在过去的5个小时里我会出现Zone_Resource_Pool_Educted问题。前一天晚上,一切都很顺利,但今天,我有一些严重的问题。
期待着任何人在这方面帮助我,因为老实说,这个问题是“只要改变这个,也许这会解决它,如果不是,也许几个星期,它就会起作用”。
更新:
我相信我的一些问题可能会特别处理GCP Compute Inception18012,因为这是一个基于美国中心的实例创建问题。
你提到的事件实际上是在11月5日解决的,只影响到美国中央1-A区。鉴于您的问题是在11月10日发布的,评论中的其他用户在us-central1-b区得到了错误,该错误与您链接的事件无关。
正如错误消息所示,这是一个资源可用性问题。这些情况很少见,通常很快就能解决。如果将来发生这种情况,在其他区域/区域中使用Compute Engine实例将解决这个问题。要使用Dataprep执行此操作,如注释中所提到的,在作业从Dataprep启动后,可以从Dataflow重新运行作业,同时指定要在其中运行作业的区域/区域。
Dataprep和Dataflow都可以用于ETL任务。事实上,Dataprep似乎使用数据流作业。这是Dataprep提供的工具的唯一区别吗?
我得到了几次配额的增加,虽然这让作业比以前继续,但它仍然以相同的错误结束(尽管shuffle键的大小更大了)它现在似乎没有因为配额相关问题而碰壁。 除了放弃Dataprep和回到map Reduce之外,还有什么想法吗?
Dapper (Distributed and Parallel Program Execution Runtime), 是为开发复杂的、大规模的云计算和网格计算应用准备的工具,使用户能够创建分布式计算的要点:代码会执行,同时数据流图描述。它支持丰富的执行语义,无忧无虑的部署,强大的控制协议,修改的数据流图在运行时,和一个直观的用户界面。
Introduction • How To Use • Acknowledgments Introduction This is the Spring Cloud Data Flow Dashboard user interface (UI). The UI uses Angular. Source code documentation is available at https://cloud.
当使用Apache Beam(GCP Dataflow)时,我会在工作日志中看到以下警告: 找不到会话文件:/var/opt/google/dataflow/pickled_main_session。在__main__(交互式会话)中定义的函数可能会失败。
我在删除服务帐户中的用户时出错,我应该删除另一个用户。之后,Dataprep停止运行作业。 我已经检查了关于dataflow和DataPrep的所有准则:如果API是启用的(是的,它是启用的)。如果有一个适当的服务帐户(是)。但我不知道给这些账户分配什么规则。 我尝试为该帐户分配“云数据流服务代理”角色,但它不适合我 附:我的英语正在进步,有些错误很抱歉。