StormKafka喷口具有非常高的滞后
我正在用Apache Storm 1.1.2和Kafka0.11在Java9中构建一个Spring应用程序
我注意到，在高负载（每秒2500条消息）下，Kafka喷口有一个非常高的滞后。Kafka喷口有一个平行性提示3。滞后几乎等于喷口提交的偏移。
这个滞后设置了拓扑每秒可以摄取的最大消息量的上限，这并不是很大。有人知道解决这个问题的办法吗？
更新：我还注意到，即使有10个工作者和4个并行性提示，负载也没有在不同的kafka spout执行器之间分配，从UI中我可以看出。这个主题有8个分区
共有1个答案
参见阿帕奇StormKafka喷口滞后问题
-
我正在使用Storm 1.1.2和Kafka 0.11构建一个Java Spring应用程序，将在Docker容器中启动。 我的拓扑中的所有东西都按计划工作，但在Kafka的高负载下，Kafka滞后会随着时间的推移越来越大。 我的KafKaspoutConfig： 那么我的拓扑结构如下
-
一般：我是一个想在Storm/Kafka/Flink/MS Azure SA/Spark上运行一些性能测试（WordCount）的学生。我想使用Kafka经纪人作为输入源。 我使用了Storm-Starter项目中的WordCount示例，并添加了Kafka作为喷口： 我使用kafka-console-producer生成一些消息。我希望有人能帮助我。我是编程Storm的新手...
-
在我的storm拓扑（有2个喷口和1个bolt）中，其中一个kafka喷口使用者的偏移量正在前进，但MSG没有通过kafka喷口发送到bolt。我可以在storm ui中看到，对于那个特定的喷口，发出和传送的消息是0。所以，我的问题是为什么消费者在前进，我可以看到消费者从zookeeper客户端的抵消逐渐增加。
-
当我调试我的解决方案时，vs 2017非常滞后和缓慢，就像它必须在后台操作一些沉重的东西。 null
-
多谢了，帕拉克·沙阿
-
我正在查看Spark SQL中的Spark DataFrame的窗口幻灯片函数。 我有一个包含列、和的数据表。