Storm拓扑中的可选流
declarer.declareStream(NORMAL_STREAM, getStreamFields());
declarer.declareStream(ERROR_STREAM, getErrorStreamFields());
if(errorOutput != null) {
collector.emit(ERROR_STREAM, input, errorOutput);
}
else {
collector.emit(NORMAL_STREAM, input, output);
}
collector.ack(input);
共有1个答案
错误bolt可能比您想象的要慢，导致对error_stream的备份，这反过来又导致对您的第一个bolt的备份，最后导致元组开始超时。当一个元组超时时，它会被喷口所怨恨。
尝试：
- 增加超时配置（topology.message.timeout.secs）,
- 限制来自spout（topology.max.spout.pending）和/或 的飞行元组的数量
- 增加螺栓的并行度计数
-
我正在尝试使用Eclipse在Linux中运行Storm启动示例。我收到以下错误和函数从未被调用。 错误： 我的拓扑类： 我正在虚拟机环境中工作，所以不知道这是否是由于安装了Zookeeper。有什么想法吗？
-
8台机器一直在使用。每一个都有22个核心和512 GB的RAM。但是，我们的代码运行得真的很慢。传输600万个数据需要10分钟才能完成。 60个文件中的10 MB在一秒钟内传输到HDFS。我们正在努力优化我们的代码，但很明显我们做了一些非常错误的事情。 对于蜂巢表，我们有64个桶。 在HDFS喷口；.setmaxextending(50000)； 在蜂巢喷口选项；.WithTxNsperBatch
-
如何为storm拓扑提供自定义配置？例如，如果我构建了一个连接到MySQL集群的拓扑，并且我希望能够更改需要连接到哪些服务器而不需要重新编译，我将如何做到这一点？我更喜欢使用配置文件，但我担心文件本身没有部署到集群中，因此它不会运行（除非我对集群工作方式的理解有缺陷）。到目前为止，我所看到的在运行时将配置选项传递到storm拓扑的唯一方法是通过命令行参数，但当您获得大量参数时，这将是混乱的。 有一
-
我是阿帕奇Storm的新手。我已经在intellij中用java创建了一个storm项目，它成功地创建了一个本地集群，并将拓扑提交给它，然后在本地运行。我想在亚马逊EC2上运行这个Storm项目。我跟踪了https://github.com/nathanmarz/storm-deploy/wiki链接。跟随链接成功发射了2个主管，1个动物园管理员和1个灵光。现在我想在服务器上运行我的拓扑。这是我在
-
我读了很多和Storm有关的网站。但我仍然无法将拓扑结构完美地映射到Storm集群中。 请帮助我理解这一点。 在Storm集群中有这样的术语 null null null 所有这些都要用Storm集群来映射。我已经在一个项目里工作了。所以我知道拓扑结构。
-
我正在运行一个3节点的Storm集群。我们正在提交一个包含10个工作者的拓扑结构，以下是拓扑结构的详细信息 我们每天处理800万到1000万个数据。问题是topolgy只运行了2到3天，而我们在kafka spout中看到了一些失败的元组，没有处理任何消息。当提交新的topolgy时，它工作良好，但在2到3天后，我们又看到了同样的问题。有人能给我们一个解决方案吗。下面是我的storm配置