如何使用现有的PubSub订阅与Google提供的PubSub to BigQuery数据流模板
在我的工作中，我没有任何复杂的转换要做。所以谷歌提供的模板将为我工作开箱即用。但缺乏指定自己订阅的能力正困扰着我。我不想仅仅因为这个原因而设置自定义作业管道。有人知道有没有解决办法吗？
共有1个答案
-
我使用谷歌PubSub Publisher来触发通知，并在谷歌云存储桶中上传文档时向订阅者发送消息。 我通过->gsutil notification create-t[TOPIC_NAME]-f json-e OBJECT_FINALIZE gs://[BUCKET_NAME]创建了一个通知主题 我的订户功能是:** **我想在docker容器中部署这个订阅器函数。然后它将使订阅服务器24/7运
-
我发现在Node.js客户机中，我们可以传递“reuseexisting：true”选项来重用现有的订阅： 如果我使用正式的java pubsub客户机，我应该通过什么选项？：
-
问题内容： 我想创建一个发布-订阅基础结构，其中每个订阅者都将收听多个（例如100k）频道。 我认为可以将Redis PubSub用于此目的，但是我不确定在这里订阅数千个频道是否是最佳实践。为了回答这个问题，我想知道Redis中的订阅机制在后台如何工作。 另一种选择是为每个订户创建一个频道，并在两者之间放置一些组件，该组件将获取所有消息并将其发布到相关的频道。 还有其他想法吗？ 问题答案： Sal
-
我们有一个托管在Google Kubernetes引擎上的NodeJS API，我们想开始将事件记录到BigQuery中。 我可以看到三种不同的方法： 使用API中的节点BigQuery SDK将每个事件直接插入BigQuery（如此处“流式插入示例”下所述）：https://cloud.google.com/bigquery/streaming-data-into-bigquery或此处：htt
-
对调试的任何帮助都将非常感谢。 这是我的堆栈： node.js socket.io express.js passport.js MongoDb react.js 流程： Anna在聊天中发送一条消息（这条消息写入数据库并发布到PubSubtopic“messages”） Node.js express应用程序运行订阅，然后根据消息内容发送给其他应该接收消息的人。 在本例中，与安娜在同一频道的鲍勃
-
由于我刚接触DataFlow/Beam，概念还不太清楚（或者至少我在开始编写代码时有困难），我有很多问题： 什么是最好的模板或模式，我可以用来做到这一点？我应该先执行BigQuery的PTransform（然后执行PubSub的PTransform）还是先执行PubSub的PTransform？ 我怎么做加入？比如？ PubSub的最佳窗口设置是什么？BigQuery的PTransform部分的窗