Storm拓扑2或3天后不处理拓扑
我正在运行一个3节点的Storm集群。我们正在提交一个包含10个工作者的拓扑结构，以下是拓扑结构的详细信息
kafkaspout: 1 (with 10 kafka partions and 10 executors)
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages
我们每天处理800万到1000万个数据。问题是topolgy只运行了2到3天，而我们在kafka spout中看到了一些失败的元组，没有处理任何消息。当提交新的topolgy时，它工作良好，但在2到3天后，我们又看到了同样的问题。有人能给我们一个解决方案吗。下面是我的storm配置
worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
- "zoo1"
- "zoo2"
- "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost
nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707
- 6708
- 6709
共有1个答案
这些都是非常古老的版本。我对Storm Pre-0.10不太熟悉，但我将这个答案链接到https://stackoverflow.com/A/49138567/8845188，因为情况类似。
注意，与Storm 1.1.1上的其他用户不同，您所在的版本中Storm-1750可能不是固定的，因此您应该考虑升级。
-
我正在尝试使用Eclipse在Linux中运行Storm启动示例。我收到以下错误和函数从未被调用。 错误： 我的拓扑类： 我正在虚拟机环境中工作，所以不知道这是否是由于安装了Zookeeper。有什么想法吗？
-
8台机器一直在使用。每一个都有22个核心和512 GB的RAM。但是，我们的代码运行得真的很慢。传输600万个数据需要10分钟才能完成。 60个文件中的10 MB在一秒钟内传输到HDFS。我们正在努力优化我们的代码，但很明显我们做了一些非常错误的事情。 对于蜂巢表，我们有64个桶。 在HDFS喷口；.setmaxextending(50000)； 在蜂巢喷口选项；.WithTxNsperBatch
-
如何为storm拓扑提供自定义配置？例如，如果我构建了一个连接到MySQL集群的拓扑，并且我希望能够更改需要连接到哪些服务器而不需要重新编译，我将如何做到这一点？我更喜欢使用配置文件，但我担心文件本身没有部署到集群中，因此它不会运行（除非我对集群工作方式的理解有缺陷）。到目前为止，我所看到的在运行时将配置选项传递到storm拓扑的唯一方法是通过命令行参数，但当您获得大量参数时，这将是混乱的。 有一
-
关于拓扑结构的说明： 喷口连续向读取螺栓发送元组。 读取bolt过程并将结果发送给下一个bolt等等。 在R bolt中处理tuple1之后还是在readbolt发送tuple1写入bolt之后？
-
我是阿帕奇Storm的新手。我已经在intellij中用java创建了一个storm项目，它成功地创建了一个本地集群，并将拓扑提交给它，然后在本地运行。我想在亚马逊EC2上运行这个Storm项目。我跟踪了https://github.com/nathanmarz/storm-deploy/wiki链接。跟随链接成功发射了2个主管，1个动物园管理员和1个灵光。现在我想在服务器上运行我的拓扑。这是我在
-
我对Apache Storm的性能有一个问题，主要是从喷口出来的。 我有一个从kestrel队列发出项目的拓扑。我获取大约2000个项目，每次在喷注中调用时，我都会发出一个。 我正在使用1个spout任务和1个spout执行器运行。我已将设置为10。 为什么每次调用之间有这么大的时间间隔？outputCollector在发出一个新元组之前是否正在等待听到每个元组的反馈？ 我正在运行Java8和st