带有Kafka喷口瓶颈的阿帕奇Storm
我正在尝试用我的Storm设置实现最大的性能。我正在通过Kafka发送数以万计的消息，这些消息将被Storm拓扑接收。
当我在Storm UI中查看时，我注意到所有消息都流向一个执行器，而不是在所有执行器之间进行负载平衡。（见附件截图）。
共有1个答案
由于您有3个分区，请尝试创建带有3个并行性提示的Kafka喷口和带有3个并行性提示的HBase Bolt。在HBase Bolt中使用部分键分组，以键为基础在Bolt之间负载平衡消息。
-
我在Apache Storm拓扑上运行了一个性能测试，并注意到kinesis-spout中的“failed”计数非常高（几乎占了元组的1/3）。这个数值是多少？
-
我无法找到正确集成Kafka和Apache Storm Trident的好文档。我试图查看相关的问题之前张贴在这里，但没有充分的信息。 这样，我就可以为我的拓扑生成流，如下面的代码所示 虽然我提供了并行性和我的分区，但是只有一个Kafka Spout的执行器在运行，因此我无法很好地扩展它。 有谁能指导我更好地将Apache Storm Trident(2.0.0)与Apache Kafka(1.0
-
我正试图找出这两种设置之间的区别。大小和缓冲区。Kafka制作人的记忆。 据我所知。大小：这是可以发送的批次的最大大小。 文档描述了缓冲区。memory as：生产者可以用来缓冲等待发送的记录的内存字节。 我不明白这两者之间的区别。有人能解释一下吗？ 谢啦
-
我们需要的是直接的API来设置和使用集群消息队列。我们最初的计划是使用Camel在集群JMS或ActiveMQ队列上进行消费/生产。Kafka如何使这项任务变得更容易？在任何一种情况下，应用程序本身都将在WebLogic服务器上运行。 消息传递将是点对点类型，其中有多个相同服务的实例在运行，但根据负载平衡策略，只有一个实例应该处理消息并发出结果。消息队列也是群集的，因此服务实例或队列实例的失败都不
-
Apache Kafka：分布式消息传递系统 Apache Storm：实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据？ 在实时数据管道方面，我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术？