使用beam时，“ValueError：云发布/订阅当前仅可用于流式管道”。io。批处理模式下的WriteToPubSub（）

Question

我正在从查找中读取一些客户记录并将其写入bigquery表，然后从同一个表中读取一些必需的数据栏并尝试将该数据（Json）作为消息推送到pubsub中，在批处理模式下使用数据流管道。但是收到错误：“ValueError：Cloud Pub/Sub目前仅可用于流媒体管道”。

delete_rows = p | 'reading data to be deleted' >> beam.io.Read(
            beam.io.BigQuerySource(
                query=delete_query,
                use_standard_sql=True))

        required_data = delete_rows | 'Retriving only required data' >> beam.ParDo(RequiredData())

        push_to_pubsub = required_data | 'Pushing data to pubsub' >> beam.io.WriteToPubSub(
            topic='my topic name',
            with_attributes=False,
            id_label=None,
            timestamp_attribute=None
        )

我想在数据流管道的批处理模式中使用PubSub

Answer 1

感谢您的尝试。Dataflow PythonSDK的Cloud Pub/Sub目前被实现为仅适用于Dataflow Python流媒体后端的Dataflow本机源。我们可以考虑在未来提供一种适用于批处理管道的实现，但我没有ETA。