如何在BigQuery Insert错误时崩溃/停止数据流pub/sub摄取
但理想情况下，我只希望有一些不处理插入错误并记录它的配置，而只是崩溃作业或至少停止摄入。
共有1个答案
Old Pipeline:
PubSub -> Some Transforms -> BQ Sink
New Pipeline:
PubSub -> Some Transforms -> ParDo(BQ Sink Validator) -> BQ Sink
-
我正在构建一个事件驱动的微服务架构，它应该是云不可知的（尽可能多）<由于这最初是在GCP中进行的，我不想在配置和所有这些方面花费太长时间，我打算直接将GCP的发布/订阅用于事件队列，并在稍后处理其他云实现，但后来我遇到了Spring云数据流，这看起来很好，因为这些是Spring Boot微服务，我需要一种方法来协调它们 Spring Cloud数据流是否支持Pub Sub作为事件队列？ 在配置和设
-
我正在使用最新版本的google-cloud-pubsub，并且正在经历一个据称已经修复的bug。 我正在使用这个版本和其中的代码示例：https://pypi.org/project/google-cloud-pubsub/ 问题：因此，在我运行呼叫订阅者的订阅者工作者大约4-5小时后，它停止接收消息。 对如何修复它有什么建议吗？
-
我曾经使用过SpringCloudDataFlow、rabbitmq和kafka，但我想知道是否可以使用GooglePub/sub安装scdf。 我不想创建一个流（新的应用程序spring cloud stream），将源或接收器连接到gcp，我希望google pub/sub over spring cloud data flow server用作中间消息代理。 有什么建议吗？
-
我想发布消息到一个发布/子主题与一些属性感谢数据流作业在批处理模式。 它与@ankur解决方案一起工作：https://stackoverflow.com/a/55824287/9455637 但我认为使用共享的pub/sub客户端会更有效:https://stackoverflow.com/a/55833997/9455637 但是发生了一个错误： null
-
问题内容： 我想使用Dataflow将数据从发布/订阅移到GCS。因此，基本上我希望Dataflow在固定的时间量（例如15分钟）内累积一些消息，然后在经过该时间量后将这些数据作为文本文件写入GCS。 我的最终目标是创建一个自定义管道，因此“ Pub / Sub to Cloud Storage”模板对我来说还不够，而且我完全不了解Java，这使我开始使用Python进行调整。 这是到目前为止我所
-
我有一个spark流媒体作业，它每5秒钟读取一次Kafka，对传入的数据进行一些转换，然后写入文件系统。 这实际上不需要是一个流式作业，实际上，我只想每天运行一次，将消息排入文件系统。但我不知道如何停止这项工作。 如果我向streamingContext传递超时。等待终止，它不会停止进程，它所做的只是导致进程在流上迭代时产生错误（请参见下面的错误） 实现我所要做的事情的最佳方式是什么 这是Pyth