我按问题推出了合流套件”。/bin/合流启动”命令。然后我用kafka connect把kafka的数据汇到myhtml" target="_blank">sql。
我可以通过执行以下命令在独立模式下很好地运行 kafka 连接:
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties
然后我关闭上面的命令并通过命令切换到分布式模式:
./bin/connect-distributed ./etc/schema-registry/connect-avro-distributed.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties
它报告了以下异常:
〔2018-08-09 14:51:56951〕错误无法启动Connect(org.apache.kafka.Connect.cli.ConnectDistributed:108)org.apache.cafka.Connect.errors。ConnectException:无法在org.apache.kafka.connect.runtime.REST.RestServer.start(RestServer.java:214)在org.apache.cafka.connect.reuntime.connect.start中启动REST服务器(connect.java:53)在org.pache.kafka/connect.cli.ConnectDistributed.main(ConnectDistributed.java:106)由java.net引起。BindException:地址已在sun.nio.ch.Net中使用。在sun.nio.ch.Net.bind(Net.java:433)处的bind0(本机方法)在sun.nio.ch.Net.bind(Net.java:425)处
发生了什么?如何切换到使用kafka connect分布式模式?谢谢
通过引导所有合流服务后
./confluent start
确保停止默认kafka-connect through
./confluent stop connect
在开始定制kafka-connect之前。
当您运行合流启动
时,您已经在分布式模式下启动了Kafka Connect。因此,您可以使用该实例,也可以在属性文件中为要运行的第二个实例定义一个新的REST端口。
无论哪种方式,您都可以将接收器配置提交到通过 REST 分发的 Kafka Connect,而不是在启动时将其作为属性参数传递(与独立配置不同)。
我正在开发debezium mongodb源连接器。我可以通过提供kafka引导服务器地址作为远程机器(部署在Kubernetes中)和远程MongoDB URL在分布式模式下在本地机器中运行连接器吗? 我尝试了这一点,我看到连接器成功启动,没有错误,只有几个警告,但没有数据从MongoDB流动。 使用以下命令运行连接器 遵循以下教程:https://medium.com/tech-that-wo
我们开始Kafka,动物园管理员和Kafka连接在第一个盒子。我们也在第二个盒子里开始了Kafka连接。现在,根据confluent文档,我们必须使用REST API启动HDFS连接器(或任何其他连接器)。所以,在这两个框中启动kafka connect之后,我们尝试通过REST API启动connector。我们尝试了以下命令:- 当我们在这里按enter键时,我们得到以下响应: 位于etc/k
我想使用 Confluent 的复制器将数据从一个系统复制到另一个系统。我正在使用两个Ubuntu 18.04系统,其中一个充当源,另一个充当目的地。 我尝试在分布式模式下运行kafka connect replicator,更改了以下配置: < li >在confluent/etc/Kafka/server . properties中,我做了以下更改 源 目的地 然后,我在源系统中创建了主题,并
我在分布式模式下运行Kafka连接,有两个不同的连接器,每个连接器都有一个任务。每个连接器都在不同的实例中运行,这正是我想要的。 Kafka connect集群是否总是确保相同的行为来适当地分担负载?
我们已经成功地使用了MySQL - 使用jdbc独立连接器的kafka数据摄取,但现在在分布式模式下使用相同的连接器(作为kafka connect服务)时面临问题。 用于独立连接器的命令,工作正常 - 现在,我们已经停止了这一项,并以分布式模式启动了kafka connect服务,如下所示 2 个节点当前正在运行具有相同连接服务。 连接服务已启动并正在运行,但它不会加载 下定义的连接器。 应该对
我有一个基于过程消费的大数据应用程序- 假设我的应用程序在一台机器上运行,我实例化了2个消费者,他们有自己的生产者,例如生产者1有事务ID - 如果我的应用程序在一台机器上工作,这完全可以正常工作,但是,事实并非如此,因为应用程序需要在多台机器上运行,因此当相同的代码在机器2上运行时,由机器2上的消费者实例化的生产者将具有与机器1上相同的事务ID。我希望事务ID的生成方式不会相互冲突,并且它们是可