是否可以在Apache Beam Python SDK中发布/订阅数据存储批处理数据流作业？

Question

我有一个Pub/Sub主题，它会定期（通常每隔几天或几周一次，但有时更频繁）接收批量消息。我想启动一个批处理数据流作业来读取这些消息，执行一些转换，将结果写入Datastore，然后停止运行。当新一批消息发出时，我想启动一项新工作。我已经阅读了Apache Beam PythonSDK文档和许多SO问题，但仍不确定一些事情。

Pub/Sub IO可以作为非流作业的一部分读取吗？然后同一作业可以使用Datastore IO（目前不支持流）进行写入吗？我是否可以假设默认的全局窗口和触发器会正确地告诉作业何时停止从Pub/Sub读取（当不再写入一批消息时）？或者我是否需要添加某种触发/窗口方案，例如最大时间或最大元素数？触发时，触发器会告诉全局窗口关闭并因此结束作业吗？

Answer 1

编辑：假设这是针对具有数据流的Java Beam，回答不正确。

抱歉，我没想到这是给Python的。

根据此拉取请求中添加的留档，Python中的流媒体模式显式不支持Datastore。留档中存在不一致之处，它声称支持Pub/Sub的Python批处理模式，而链接代码说它仅在流媒体管道中受支持。我已经提交了一个Jira错误来尝试解决这个问题。

对于python流模式下的数据流，这似乎不是当前支持的用例。我建议您考虑改用Apache Beam的Java版本，它支持向数据存储中进行流式写入。