Kafka连接故障时Kafka流警报

Question

当kafka streams应用程序运行且kafka突然停机时，应用程序进入“等待”模式，发送警告日志的消费者和生产者线程无法连接，当kafka恢复时，一切（理论上）都应该恢复正常。我正在尝试获取有关此情况的警报，但我无法找到捕获该警报的位置并发送日志/度量。我尝试了以下方法：

1. streams.setUncaughtExceptionHandler但这只发生在异常情况下，而不是这里
2. 扩展productionExceptionHandler并将default.production.exception.handler属性更改为我的类，从而扩展了此接口。

我知道Kafka有自己的衡量标准，我可以听一听，看看经纪人是否破产。但也可能存在这样的情况：Kafka代理很好，my Kafka streams应用程序无法连接（即身份验证配置错误或vpn/vpc问题）

我能做些什么来发现这些问题并记录/报告它们？

使现代化

如果Kafka不可用，请参阅消费者/生产者日志：

2020-08-24 21:41:32,055 [my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-StreamThread-1] WARN  o.apache.kafka.clients.NetworkClient - [] [Consumer clientId=my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-StreamThread-1-consumer, groupId=my-kafka-streams-app] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
2020-08-24 21:41:32,186 [kafka-admin-client-thread | my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-admin] WARN  o.apache.kafka.clients.NetworkClient - [] [AdminClient clientId=my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-admin] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
2020-08-24 21:41:32,250 [kafka-producer-network-thread | my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-StreamThread-1-producer] WARN  o.apache.kafka.clients.NetworkClient - [] [Producer clientId=my-kafka-streams-app-23a462fe-28c6-415a-a08a-b11d3ffffc2e-StreamThread-1-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
 

Answer 1

这种情况不容易通过编程检测。问题是，客户端并没有真正向Kafka Streams公开其状态，因此Kafka Streams并不真正了解断开连接的情况。KIP建议添加一个断开连接状态，但这并不容易实现（参见https://cwiki.apache.org/confluence/display/KAFKA/KIP-457:将断开连接状态添加到Kafka流）。

您提到的异常处理程序对这种情况没有帮助，因为没有抛出异常（至少在Kafka Streams代码库中没有）。

您可以尝试监视消费者延迟或一些Kafka流指标（如处理速率）。他们可能会提供足够好的代理。查阅https://docs.confluent.io/current/streams/monitoring.html