当前位置: 首页 > 知识库问答 >
问题:

使用Kafka rest配置选项消费者时出现的问题。例子超时。文件中提供了ms

周瀚
2023-03-14

Kafka rest代理在尝试汇合文档中提供的一些参数时失败。
当尝试使用留档[https://docs.confluent.io/current/kafka-rest/config.html]中提供的consumer.instance.timeout.ms等参数时失败。

请求

curl -X POST http://172.16.x.x:8082/consumers/onerp -H "Content-Type: application/vnd.kafka.v2+json" -d '{"name": "ins-b", "format": "binary", "auto.offset.reset": "earliest", "auto.commit.enable": "false", "consumer.instance.timeout.ms": 180000}'

响应

{"error_code":422,"message":"Unrecognized field: consumer.instance.timeout.ms"}

但是,具有最小配置选项的请求成功:

curl -X POST http://172.16.x.x:8082/consumers/onerp -H "Content-Type: application/vnd.kafka.v2+json" -d '{"name": "ins-b", "format": "binary", "auto.offset.reset": "earliest", "auto.commit.enable": "false"}'

我在docker上运行了一个最新版本的汇流平台5.5.1,只有zoowatch、kafka、模式注册表和rest代理服务。
这不是使用配置选项的正确方式吗?或者还有其他方式来使用这些配置选项吗?

共有1个答案

印嘉泽
2023-03-14

您链接到的文档(特别是consumer.instance.timeout.ms参数)是针对Kafka REST代理服务器本身的。

仅支持允许使用者通过API配置自身的选项子集,这些选项在API参考中列出。

 类似资料:
  • 我有一个数十万对象的列表。当每一个运行时,它都会根据给定的值执行一个可能很长的计算。正因为如此,我希望异步运行每个任务(最好是通过使用某种执行器),并在30秒后检索每次计算的结果,取消那些没有及时完成的结果。(所得值在其他地方使用。) 到目前为止,我就是这样实现它的: ArrayList存储每个要执行的,然后将其发送到ExecutorService以运行所有任务。我遇到的问题是,任务似乎是同步启动

  • 对于我的测试,我在队列中发布了700万条消息。我创建了一个包含30个消费者线程消费者组,每个分区一个。我最初的印象是,与通过SQS获得的相比,这将大大加快处理能力。不幸的是,情况并非如此。在我的例子中,数据处理是复杂的,平均需要1-2分钟才能完成,这导致了一系列分区重新平衡,因为线程不能按时运行。我在日志里看到一堆消息 组FULL_GROUP的自动偏移量提交失败:无法完成提交,因为该组已重新平衡并

  • 我有一个成功消耗来自Kafka主题的消息的Spring引导服务。作为进一步开发的一部分,我需要在之前创建并运行良好的相同消费者服务中将消息发布到另一个Kafka主题。但是当我介绍Kafka生产者配置时,它会给我消费者配置中的错误,说 我的工作Kafka消费者配置,这是突然抛出问题后,介绍生产者配置 Kafka消费者配置。JAVA 将其添加到服务后导致问题的生产者配置 Kafka普罗德里格。JAVA

  • 我在一个项目中工作,它需要服务的研究论文和文件,所以在服务文件时,它需要检查一些通行证,如果一切看起来都很好,那么它应该转发文件(研究论文)。 读取文件并使用PHP进行流式处理很容易,但我们需要使用apache来提供文件。 应用程序的工作方式不同,但是我做了一个像这样的小项目,这样我们可以重新产生问题。 所有请求都指向一个IP地址,并使用文件将请求重定向到文件。 以下是htaccess文件: 在中

  • 我试图做一个简单的poc与Spring启动与版本(2.3.7发布)的SpringKafka,以实现消费者批处理的工作原理,以及如何再平衡工作,如果消费者需要更多的流转时长,因为我是全新的这个消息系统。 现在我看到kafka重新平衡单个消费者(不允许并发)的问题。 这些是我设置的max.poll.interval属性。ms=50000和factory.getContanerProperties。se

  • 问题内容: 我正在尝试在Android应用程序中使用Google的非官方天气API。 我使用以下代码: 但是我收到错误java.io.IOException无法打开http://www.google.com/ig/api?weather=08003(仅以08003为例)。 如果您转到FF中的链接,则会得到一个不错的Weather XML文件,那么我在做什么错呢? 问题答案: 这对我来说非常有效: