当前位置: 首页 > 知识库问答 >
问题:

实现多个storm拓扑

卞经业
2023-03-14

我正在研究一个storm拓扑,需要为不同的客户端位置构建多个拓扑。

谢谢你的回复。

共有1个答案

轩辕鸿
2023-03-14

为每个客户端设置拓扑不是处理问题的标准方法。由于每个客户机的数据处理需求是相同的,更常规的方法是使用单个拓扑从输入队列(通常是Kafka),执行处理,然后向客户机报告。

您特别调用为每个客户端动态创建拓扑。这当然是可能的,但我不认为这是必要的,因为我了解你正在做什么。

 类似资料:
  • 我刚来暴风,所以温柔点:-) 什么是实现这一目标的最佳方式?

  • 首先诚挚的道歉,如果我的问题是重复的,我尝试搜索,但没有找到我的问题的相关答案 首先真诚的道歉,如果我问一些很基本的东西,因为我是Storm的初学者。如果我的问题是重复的,因为我试着搜索但是找不到相关的答案 请就我下面的用例提出建议。 > 因此以25秒为频率的所有元组将汇集在一起,并由Bolt on每25秒发射一次(如果在25秒内收到重复的元组,则只考虑最新的一个元组)。 类似地,所有以10分钟为

  • 我正在学习storm。我对Apache storm上一次可以运行的拓扑数有疑问。我在storm集群上提交了两个拓扑,但一次只能运行一个拓扑。我需要杀死或停用已经存在的拓扑才能运行任何新的拓扑。 我用的是Storm0.9.4 动物园管理员3.4.6 我在附上我的暴风UI的截图。

  • 我试着把这个理论与缩放工人做比较。 但是,使用版本1.2.1时,storm Kafka spout在多个不同的拓扑中的行为并不像我预期的那样。 为单个主题的所有拓扑中的kafka spout使用者设置一个公共client.id和group.id,每个拓扑仍然订阅所有可用的分区和重复的元组,并在重新提交已提交的元组时抛出错误。 如果有人能解释一下 Kafka喷口的这种行为的实现逻辑是什么? 有解决此

  • 我正在尝试使用Eclipse在Linux中运行Storm启动示例。我收到以下错误和函数从未被调用。 错误: 我的拓扑类: 我正在虚拟机环境中工作,所以不知道这是否是由于安装了Zookeeper。有什么想法吗?

  • 8台机器一直在使用。每一个都有22个核心和512 GB的RAM。但是,我们的代码运行得真的很慢。传输600万个数据需要10分钟才能完成。 60个文件中的10 MB在一秒钟内传输到HDFS。我们正在努力优化我们的代码,但很明显我们做了一些非常错误的事情。 对于蜂巢表,我们有64个桶。 在HDFS喷口;.setmaxextending(50000); 在蜂巢喷口选项;.WithTxNsperBatch