设置kafka-link以从远程代理获取数据
我正在尝试设置Kafka connect sink连接器。Kafka connect是Kafka connect worker(confluent-3 . 2 . 0)的一部分。我有一个Kafka broker (confluent-3.2.0)在机器a上运行。我想在另一台机器B上设置Kafka-connect-sink连接器来使用消息，使用一个定制的Kafka-connect-sink连接器jar。假设机器A上的Kafka broker和Zoo keeper端口对机器b开放。
那么，我是否应该通过将类路径设置为Kafka连接器jar并运行以下命令来在机器B上安装/设置conFluent-3.2.0（因为Kafka Connect是Kafka包的一部分）？
./bin/connect-distributed.sh worker.properties
共有1个答案
对尽管在机器B上，您只需要启动脚本、配置属性文件、Kafka Connect的jar和自定义连接器的jar，但您所描述的内容仍然有效，并且是设置该系统的最简单方法。
-
我已经在ec2上的一台机器上设置了一个kafka zookeeper和3个代理，端口为9092..9094，并且正在尝试使用另一台机器上的主题内容。端口2181(zk)、9092、9093和9094（服务器）对使用者计算机开放。我甚至可以做一个 主题：远程访问分区计数：1 ReplicationFactor：3 Configs：主题：远程访问分区：0 Leader：2 Replicas：2,0,1
-
我们使用atlassian文档在一个服务器上安装了竹远程代理。我们已经批准了代理，它与竹子主服务器连接良好，我们能够运行构建。我们面临的问题是代理设置。是否有一种方法可以在远程代理中设置一个代理，该代理连接到外部服务器，以便成功地构建库。我们现在要做的是将代理手动配置到构建中的gradle任务。这不是做这件事的方法。因为在未来我们需要代理设置的地方可能会有100个版本。我们不能手动为所有这些构建配
-
出于特殊原因，我需要同时使用 （又名高级消费者）和 （又名低级消费者）来读取 Kafka。对于 ，我使用基于 ZooKeeper 的配置，并且对此完全满意，但 需要实例化种子代理。 我不想同时保留动物园管理员和经纪人主机的列表。因此，我正在寻找一种方法，从ZooKeeper中自动发现特定主题的经纪人。 由于一些间接的信息，我相信这些数据存储在ZooKeeper中的以下路径之一： < li > <代
-
我正在尝试找出如何获取远程代理上现有队列的列表。 看起来我可以通过添加一条建议消息(我还没有实现)来监听队列的创建/销毁，但是我需要在启动时获取所有现有的队列。 看起来我可以用getDestinationMap做到这一点: http://activemq.apache.org/maven/apidocs/org/apache/activemq/broker/region/Region.html#g
-
我已经在EC2上安装了Kafka软件。我的问题是从AWS外部连接到经纪人。这一切都从内部为我工作。 因此，我可以启动代理，并且 kafka 控制台生产者和消费者都可以工作（来自同一服务器）。我有端口 2181 和 9092 打开到远程位置，朝向我想使用 producer 的位置。所以从我的开发（本地）机器.如果我做telnet 9092 - 它会连接我。如果我尝试使用Kafka控制台生产者，我会收
-
我使用此代码在Java中获取系统代理： 但是“列表”只包含直接设置，而不包含我在Internet Explorer中设置的设置。奇怪的是，在我们软件的早期版本中，完全相同的代码返回正确的系统代理列表。 有人知道是什么可能使代码无法正常工作吗？ 我添加了一些本地库，这是我唯一能想到的。但我仍然不知道这会如何影响这段代码。我在一个小测试应用程序中测试了相同的代码，在同一个eclipse环境中，等等。它