如何将来自Google Cloud pubsub（gcp）的消息发布到远程运行的Kafka主题
需要帮助才能获得帮助，将GCP（Google Cloud Pubsub）的所有消息发布到远程运行的Kafka主题
我使用了“https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76”中的连接器代码，并且能够将数据从GCP移动到Kafka主题。Kafka和连接器在同一台机器上运行，现在我只需要拥有连接器代码并将消息从PubSub添加到远程运行的Kafka Topic
共有1个答案
将消息从Google Cloud Pub/Sub复制到远程运行的Kafka主题应该与所有内容都位于GCP中没有太大区别。有两个选项：
- 使用Kafka部署运行Kafka connect。在此场景中，您必须确保运行Kafka的机器有权在端口443向Google云发出传出请求
- 在GCP上运行Kafka（可能在GCE实例中）。您必须设置引导。Kafka连接配置中的servers属性连接到Kafka运行的服务器列表。这意味着这些服务器必须是可公开寻址的，并允许传入连接
-
有人能帮我弄清楚这件事吗。 谢了！
-
我有一个Kafka集群（版本：0.10.1.0），有9个代理和10个分区。 我尝试使用camel kafka从java应用程序中获取消息。这是我的pom。xml 这只是我使用的与骆驼Kafka相关的依赖项。下面是骆驼Kafka消费者代码。 我正在使用文档中指定的KafkaURIhttps://camel.apache.org/components/latest/kafka-component.ht
-
我正在开发一个使用的软件。我有一个用户订阅了多个主题，我想知道是否有一个订单接收来自这些主题的消息。我在我的电脑上尝试了一些组合，但我需要确定这一点。例 null [编辑]我想指定这两个主题各有一个分区，并且只有一个生产者和一个消费者。我需要首先阅读来自第一个主题的所有消息，然后阅读来自另一个主题的消息
-
我正在开发一个模块，它使用来自Kafka主题的消息并发布到下游系统。在下游系统不可用的情况下，消费者不确认Kakfa消息。因此，当我的消费者收到消息时，当下游系统不可用时，kakfa的偏移量将不会被提交。但是如果我在下游系统启动后收到新消息，并且当我确认该消息时，最新的偏移量将被提交，并且消费者永远不会收到主题中没有偏移量提交的那些消息。
-
我有一个运行DCOS的小集群。我能够成功安装Kafka遵循本指南。跑步 谢谢 AJ
-
我必须记录消费者在SpringKafka中花费的时间。由于kafkaListener方法对每条消息都执行，因此在那里放置一个记录器是行不通的。此外，有时一些信息会丢失，而不是被消费者消费掉。我应该把记录器放在哪里，以找出消费者启动后的弹性时间。使用者不会退出或关闭，其轮询将无限期进行