当前位置: 首页 > 知识库问答 >
问题:

暴风-Kafka-示例应用程序或暴风拓扑的git链接,维护Kafka分区级别的顺序?

云丰
2023-03-14

我知道,storm并不能保证kafka主题的总体订购保证,但在许多文档中,storm保证消费/处理消息,并在分区级别维护订单。

我正在寻找一个示例storm拓扑,它使用/处理kafka主题的消息,在kafka分区级别维护消息的顺序。。不是全部订单!!只有分区级别的排序保证。

如果您知道任何示例应用程序,请分享。非常感谢!!

共有1个答案

乐正迪
2023-03-14

您看过这里的Apache Storm示例吗?https://github.com/apache/storm/tree/master/external/storm-kafka

你可能想考虑标准的例子,并根据你的需要对它进行缩放。此外,在为KafkaSpuout定义模式时,您可能希望输出一些键作为元组的一部分,然后使用FieldG分组。

 类似资料:
  • 问题内容: 我正在使用Java类向拓扑集群提交拓扑,并且我还计划使用Java类取消拓扑。但是根据storm 文档,以下命令用于终止拓扑,并且没有Java方法(这有正当的理由) 那么从Java类中调用Shell脚本杀死拓扑就可以了吗?还有其他杀死拓扑的方法吗? 另外,如何获取风暴群集中正在运行的拓扑的状态? 问题答案: 要杀死拓扑,您可以尝试以下方法 获取拓扑运行状态

  • 谢谢你抽出时间。 通过在每个分区上使用数据进行泛洪测试,完成读取需要。 再次使用parallelism_hint=1的代码 即 其中, parallelism_hint-是应该分配给执行此spout的任务数。每个任务将在集群周围某个进程的线程上运行。

  • 利用 cocos2d 制作的一款休闲游戏。游戏中有九种不同的卡通水果,您可以拖动整行或整列上的水果,或交换屏幕中两个相邻水果的位置,一条直线上的三个或三个以上的相同水果将会消失,而您将得到分数。当您的分数逐步提高后,将会进入更高难度的关卡,接受更高难度的挑战。 游戏中允许使用一些道具。 [Code4App.com]

  • 我已经开始使用storm,所以我使用本教程创建简单的拓扑 我的嘴是这样的 我的螺栓是这样的

  • 我试图使Kafka消费者同步消费Kafka的消息。 我遇到的实际问题是消息队列存储在Storm Spout中。 我想做的是让暴风雪等待Kafka的回复,然后让暴风雪消耗下一条信息。 我正在使用Storm KafkaSpout: 我已经更新到Storm 2.0.0,我使用Storm kafka客户端。但是如果我将Storm队列配置为50:

  • 问题内容: 在终止风暴拓扑之前如何调用特定方法。 我已经在风暴中创建了一个拓扑,我想在拓扑被杀死之前调用特定的方法。 在Storm框架中是否有任何预定义的覆盖或任何可用的方法来做到这一点。 提前致谢:) 问题答案: 哪有这回事… 解决方法是,可以先删除拓扑,然后再取消拓扑。这样可以确保被调用。 如果需要使用螺栓调用方法,请使用来通过整个拓扑发送“通知元组”(不包含要处理的数据)。并且在每个螺栓中,