无法在分布式模式下运行Kafka Connect-尝试创建/查找主题连接偏移时出错

Question

[2017-08-31 10:15:20715]警告配置“内部”。钥匙已提供“转换器”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20715]警告配置的状态。存储复制。提供了“因子”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20715]警告配置“内部”。价值转换器。模式。已提供“启用”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20715]警告配置的值。转换器。模式。已提供“启用”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20715]警告配置“内部”。价值已提供“转换器”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20715]警告配置“偏移”。存储复制。提供了“因子”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20716]警告配置“偏移”。存储提供了“主题”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20716]警告配置的值。已提供“转换器”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20716]警告配置键。已提供“转换器”，但不是已知的配置。（org.apache.kafka.clients.admin.AdminClientConfig:231）[2017-08-31 10:15:20768]信息jetty-9.2.15。v20160210（org.eclipse.jetty.server.server:327）2017年8月31日上午10:15:21组织。玻璃鱼。运动衫内部的Errors logErrors警告：已检测到以下警告：警告：组织中的（子）资源方法listConnectors。阿帕奇。Kafka。连接运行时。Rest资源。ConnectorsResource包含空路径批注。警告：组织中的（子）资源方法createConnector。阿帕奇。Kafka。连接运行时。Rest资源。ConnectorsResource包含空路径批注。警告：（子）资源方法listConnectorPlugins位于组织中。阿帕奇。Kafka。连接运行时。Rest资源。ConnectorPlugins资源包含空路径批注。警告：组织中的（子）资源方法serverInfo。阿帕奇。Kafka。连接运行时。Rest资源。RootResource包含空路径批注。

[2017-08-31 10:15:21,142]INFO Startedo.e.j.s.ServletContextHandler@63f02de0{/， null， AVAILABLE}（org.eclipse.jetty.server.handler.ContextHandler： 744）[2017-08-31 10:15:21,149]INFO StartedServerConnector@61b06738{HTTP/1.1}{0.0.0.0:8083 } (org.eclipse.jetty.server.服务器连接器： 266）[2017-08-31 10:15:21,149]INFO Started@13584ms（org.eclipse.jetty.server.服务器： 379）[2017-08-31 10:15:21,150]INFO REST服务器在http://172.28.193.126:8083/监听，广告URLhttp://172.28.193.126:8083/（<--plhd-[2017-08-31 10:15:21,150]INFO Kafka Connect开始（org.apache.kafka.connect.runtime.Connect： 55）[2017-08-31 10:15:21,468]ERROR Herder工作线程中未捕获异常，退出：（org.apache.kafka.connect.runtime.distributed.分布式Herder： 206）org.apache.kafka.connect.errors.连接异常：错误，试图创建/查找主题'连接偏移'在org.apache.kafka.connect.util.TopicAdmin.create主题（TopicAdmin.java:245）在org.apache.kafka.connect.storage.KafkaOffsetBackingStore$1.run（KafkaOffsetBackingStore.java:99）org.apache.kafka.connect.util.KafkaBasedLog.start（KafkaBasedLog. java： 126）KafkaOffsetBackingStore. start（KafkaOffsetBackingStore. java： 109）在org. apache. kafka. link. runtime。Worker. start（Worker. java： 146）at org. apache. kafka. link. runtime。AbstractHerder. start Services（AbstractHerder. java： 99）在org. apache. kafka. link. runtime.分发。在java. util. con当前运行（分布式牧羊人. java： 194）。执行器$RunnableAdapter. call（Executors. java： 511）在java. util. con当前。FutureWork. run（FutureTasks. java： 266）at java. util. con当前。ThreadPoolExecutor. runWorker（ThreadPoolExecutor. java： 1149）在java. util. con电流。在java. lang上运行（ThreadPoolExecator. java： 624）。线程. run（Thread. java： 748）引起的：java. util. con电流。执行异常：org. apache. kafka.通用错误。在org. apache. kafka.通用的内部处理请求时，服务器遇到了意外错误。kafkaFutureInp. wrapAndThrow（KafkaFutureInp. java： 45）在org. apache. kafka.通用.内部。KafkaFutureImp.访问0美元（KafkaFutureInp. java： 32）在org. apache. kafka.通用.内部。KafkaFutureImpl$SingleWaiter. wait（KafkaFutureInpl. java： 89）在org. apache. kafka.通用。KafkaFutureImp. get（KafkaFutureInp. java： 213）在org. apache. kafka. Connect. util。TopicAdmin. createTopics（TopicAdmin. java： 226）

Answer 1

Kafka Connect 0.11.0.0无法在早于0.10.1.0的代理上创建主题，因为这些旧代理中使用的协议不支持主题管理。

因此，如果您有一个较旧的代理，您应该手动创建主题或依赖代理自动创建。不幸的是，Kafka Connect0.11.0.0中的错误阻止了自动创建，因此在0.11.0.1可用之前，您必须手动创建主题。

Answer 2

在分布式模式下启动Kafka Connect时，它将尝试创建或期望Kafka中出现多个主题。在我的例子中，自动主题创建已关闭，因此Kafka Connect无法在我运行它的环境中创建主题。自己创建这些主题解决了这个问题。您应该在属性文件（下面）中指定这些主题的名称。

偏移量。存储主题

config。存储主题

状态。存储主题