在GCP上写入张量流变换元数据时，管道将失败
我希望这里有人能帮忙。我一直在谷歌上疯狂地搜索这个错误，但没有发现任何东西。
我有一个管道，在本地执行时工作得很好，但在GCP上执行时会失败。以下是我得到的错误信息。
工作流失败。原因：S03:写入转换fn/WriteMetadata/ResolveBeamFutures/CreateSingleton/Read-WriteMetadata/ResolveBeamFutures/ResolveFutures/Do-Write转换fn/WriteMetadata/WriteMetadata失败。，尝试了4次工作项均未成功。每次工人最终与服务部门失去联系时。已在以下位置尝试了该工作项：
回溯（最后一次调用）：文件“preprocess.py”，第491行，在main（）文件“preprocess.py”的第487行，在主转换_数据（args，pipeline_选项，runner）文件“preprocess.py”的第451行，在转换_数据eval|中=标识eval
有什么想法吗？？
谢谢，
佩德罗
共有1个答案
如果管道在本地工作，但在GCP上失败，则可能是版本不匹配。
什么TF，TF。Transform，beam版本您是否在本地和GCP上运行？
-
作为以下问答的后续问题： https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey 我想与谷歌数据流工程团队(@jkff)确认尤金提出的第三个选项是否有可能使用谷歌数据流：
-
只是想知道新版本（3.X）的python是否提供了更多的管道I/O和运行时参数。如果我是正确的，那么当前ApacheBeam只提供基于文件的IOs：使用python时提供textio、avroio、tfrecordio。但在Java中，我们有更多的选项，如基于文件的IOs、BigQueryIO、BigtableIO、PubSubIO和SpanRio。 在我的需求中，我想使用Python 3在GCP
-
我试图在Apache Beam中运行一个非常简单的程序来尝试它是如何工作的。 在运行此操作时，我得到以下错误 谢谢
-
我们希望提高在GCP数据流中运行特定Apache Beam管道（Python SDK）的成本。 我们已经构建了一个内存密集型Apache Beam管道，这需要在每个执行器上运行大约8.5 GB的内存。一个大型机器学习模型目前加载在转换方法中，因此我们可以为数百万用户预先计算建议。 现有的GCP计算引擎机器类型的内存/vCPU比率低于我们的要求（每个vCPU高达8GB RAM）或更高的比例（每个vC
-
我想在谷歌数据流上运行一个管道，该管道取决于另一个管道的输出。现在，我正在本地使用DirectRunner依次运行两条管道： 我的问题如下： DataflowRunner是否保证第二个仅在第一个管道完成后启动
-
我试图在张量流图中使用条件随机场损失。 我正在执行序列标记任务： 我有一系列元素作为输入。每个元素可以属于三个不同类中的一个。类以一种热编码方式表示：属于类0的元素由向量[表示。 我的输入标签（y）有大小（xx）。 我的网络产生相同形状的日志。 假设我所有的序列都有长度4。 这是我的代码： 我得到以下错误： 文件“/usr/local/lib/python2.7/dist-packages/ten