谷歌数据流“工作流失败”，没有任何原因
我在谷歌云平台上运行数据流作业，我得到的一个新错误是“工作流失败”，没有任何解释。我得到的日志如下：
2017-08-25 (00:06:01) Executing operation ReadNewXXXFromStorage/Read+JsonStringsToXXX+RemoveLanguagesFromXXX...
2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/GroupByKey/Create
2017-08-25 (00:06:01) Starting 1 workers in europe-west1-b...
2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/ParDo(SplitQuery)+ReadOldXYZ...
2017-08-25 (00:06:48) Workflow failed.
2017-08-25 (00:06:48) Stopping worker pool...
2017-08-25 (00:06:58) Worker pool stopped.
我该怎么找出哪里出了问题？对象上的权限不应该有问题，因为类似的作业会成功运行。当我试图从谷歌云控制台重新运行模板时，我会收到消息：
找不到此模板的元数据文件
但是我能够启动模板，现在它成功运行。这可能与超额配额有关吗？我们刚刚增加了数据流的CPU和IP配额，我将并行运行的作业从5个增加到15个，以便能够使用配额。当我在没有任何其他作业运行的情况下重新运行模板时，一切似乎都很好。
非常感谢您的任何意见。谢谢
编辑：看起来作业失败是因为超出了CPU配额，但通常我们会得到一个错误描述，其中说“无法生成足够的工作人员”。尽管如此，在我降低了每项工作的最大工人数量后，一切都很顺利，这样就不能超过我们的配额。
共有1个答案
我相信“此模板未找到元数据文件”应该被视为警告，而不是错误。模板能够有一个与之关联的“元数据”文件，该文件允许参数验证。如果不存在这样的文件，参数就不会被验证，但是其他一切都正常工作——消息只是这种情况的指示器。
听起来问题是这份工作因为其他原因而无法完成。根据您的描述和编辑，这听起来像是因为缺乏运行作业的配额。
-
我需要使用信任存储在谷歌云数据流中建立SSLKafka连接。我可以从存储桶提供它，还是有没有办法将其存储在“本地文件系统”上？
-
我的数据流在我的组合函数中始终失败，除了以下条目之外，日志中没有报告错误： 我使用的是Apache Beam Python SDK 2.4.0。我已经尝试使用CombinePerKey和CombineGlobally执行此步骤。在这两种情况下，管道在组合函数中都失败了。当使用较小的数据量运行时，管道完成。 使用workers也会出现同样的失败。当我检查Stackdriver时，我没有看到错误，但是
-
我已经看过这些帖子： 谷歌云数据流 - 从Pub到镶木地板 谷歌数据流“工作流程失败”无缘无故 它们很有帮助，我最终为发布/订阅消息创建了类似的东西，比如：＜code＞｛“id”：“1”｝＜/code＞（仅用于测试）： 我只能看到错误“工作流失败”。但仅对于DataflowRunner，对于DirectRunner，我没有问题。这里是“运行”命令： 以下是此作业的日志（前几行是最后出现的）： 现在
-
我有一个数据流问题，我需要执行一个作业，我得到以下错误： 并且我已经在项目中创建了服务帐户和许可证。 问候
-
我们的Google Cloud数据流管道程序调用了一些动态链接到*的库。所以要运行它，我需要设置linux环境变量LD_LIBRARY_PATH。有一种方法可以做到这一点：https://groups.google.com/forum/#!主题/综合。java。程序员/LOu18 OWAVM，但我想知道是否有一种方法可以在执行管道之前使用一些运行shell脚本的作业来实现这一点？
-
我正在运行数据流作业从气流。我需要说我是气流的新手。数据流（从气流运行）正在成功运行，但我可以看到气流在获得工作状态时遇到了一些问题，我收到了无限的消息，比如： 谷歌云数据流作业尚不可用。。 以下是将所有步骤添加到数据流后的日志（我将{project ectID}和{jobID}放在它所在的位置）： 你知道这是什么原因吗？我找不到与此问题相关的任何解决方案。我应该提供更多信息吗？ 这是我在DAG中