当前位置: 首页 > 知识库问答 >
问题:

Kafka KStream OutOfderSequence异常

狄信然
2023-03-14

我们的应用程序在streams代码中间歇性地遇到无序异常。这会导致流线程停止。

实现很简单,2个KStreams连接并输出到另一个主题。

在寻找这个无序顺序异常的解决方案时,我在Confluent上找到了以下文档

https://docs.confluent.io/current/streams/concepts.html#out-of-order-handling

但找不到这里提到的设置、配置或权衡?如何手工做记账?

如果用户希望处理此类无序数据,通常需要允许其应用程序等待更长的时间,同时在等待时间内记录其状态,即在延迟、成本和正确性之间做出权衡决定。在Kafka Streams中,用户可以为窗口聚合配置窗口操作符,以实现这样的权衡(详细信息可在《开发人员指南》中找到)。

共有2个答案

仉运乾
2023-03-14

更新:在更新Kafka Brokers和KStream版本后,问题似乎已经平息。

此外,根据建议,https://kafka.apache.org/10/documentation/streams/developer-guide/config-streams.html#recommended-弹性的配置参数

我已经更新ack到所有。复制因子已经是3。

林和煦
2023-03-14

从的JavaDocs的OutOfOrderSequextExc0019

此异常表示代理从生产者接收到意外的序列号,这意味着数据可能已丢失。如果生产者仅配置为幂等(即,如果设置了enable.idemponence,并且未配置任何transactional.id),则可以使用同一生产者实例继续发送,但这样做可能会导致发送记录的重新排序。对于事务性生产者,这是一个致命错误,您应该关闭生产者。

序列号是内部分配给写入主题的每条消息的编号。

因为这是一个内部错误,所以很难说根本原因是什么。

 类似资料:
  • 应用程序通常会通过抛出另一个异常来响应异常。 实际上,第一个异常引起第二个异常。 它可以是非常有助于用户知道什么时候一个异常导致另一个异常。 “异常链(Chained Exceptions)”帮助程序员做到这一点。 以下是Throwable中支持异常链的方法和构造函数。 Throwable getCause() Throwable initCause(Throwable) Throwable(St

  • 你可以使用raise语句 引发 异常。你还得指明错误/异常的名称和伴随异常 触发的 异常对象。你可以引发的错误或异常应该分别是一个Error或Exception类的直接或间接导出类。 如何引发异常 例13.2 如何引发异常 #!/usr/bin/python # Filename: raising.py classShortInputException(Exception):     '''A u

  • 问题内容: 异常存储在哪里?堆,堆。如何为异常分配和释放内存?现在,如果您有多个需要处理的异常,是否创建了所有这些异常的对象? 问题答案: 我假设为异常分配的内存分配方式与所有其他对象(在堆上)分配方式相同。 这曾经是个问题,因为您不能为OutOfMemoryError分配内存,这就是直到Java 1.6之前 才没有堆栈跟踪的原因。现在,它们也为stacktrace预分配了空间。 如果您想知道在抛

  • 异常Exception 以传统的try,catch抓取异常 如果在业务层不catch,框架层会捕捉,并返回一个500的server error响应。 如果在开发环境会返回一个500的具体错误的trace响应。 try { throw new \Exception("Error Processing Request", 1); //yield throwExc

  • 因为Java编程语言不需要捕获方法或声明未检查异常(包括 RuntimeException、Error及其子类),程序员可能会试图编写只抛出未检查异常的代码,或使所有异常子类继承自RuntimeException。这两个快捷方式都允许程序员编写代码,而不必担心编译器错误,也不用担心声明或捕获任何异常。虽然这对于程序员似乎很方便,但它避开了捕获或者声明异常的需求,并且可能会导致其他人在使用您的类而产

  • 当面对选择抛出异常的类型时,您可以使用由别人编写的异常 - Java平台提供了许多可以使用的异常类 - 或者您可以编写自己的异常类。 如果您对任何以下问题回答“是”,您应该编写自己的异常类;否则,你可以使用别人的。 你需要一个Java平台中没有表示的异常类型吗? 如果用户能够区分你的异常与由其他供应商编写的类抛出的异常吗? 你的代码是否抛出不止一个相关的异常? 如果您使用他人的例外,用户是否可以访

  • 异常 对于异常处理,倾向使用 raise 而不是 fail。 # 差 fail SomeException, 'message' # 好 raise SomeException, 'message' 不要在带双参数形式的 raise 方法中显式指定 RuntimeError。 # 差 raise RuntimeError, 'message' # 好 - 默认就是 RuntimeError rai

  • 在Java语言中,是使用“异常(exception)”来处理错误及其他异常事件。术语“异常”是短语“异常事件(exceptional event)”的缩写。 异常是在程序执行期间发生的事件,它会中断程序指令的正常流程。 当在方法中发生错误时,该方法创建一个对象并将其移交给运行时系统。 该对象称为“异常对象(exception object)”,包含有关错误的信息,包括错误发生时其类型和程序的状态。