Storm喷口/拓扑性能

Question

我对Apache Storm的性能有一个问题，主要是从喷口出来的。

我有一个从kestrel队列发出项目的拓扑。我获取大约2000个项目，每次在喷注中调用NextTuple时，我都会发出一个。

我正在使用1个spout任务和1个spout执行器运行。我已将SetMaxSpoutPending设置为10。

为什么每次调用NextTuple之间有这么大的时间间隔？outputCollector在发出一个新元组之前是否正在等待听到每个元组的反馈？

我正在运行Java8和storm版本0.9.4

Answer 1

来自文档：https://storm.apache.org/apidocs/backtype/storm/spout/ispout.html

Storm在同一线程上执行ack、fail和nextTuple。这意味着ISpout的实现者不需要担心这些方法之间的并发问题。但是，这也意味着实现者必须确保nextTuple是非阻塞的：否则方法可能会阻塞待处理的ACK和失败。

提示1：调用nextTuple时发出1个元组。提示2：不要在nextTuple中获取数据，在一个单独的线程中进行，并使用任何并发队列来推送和轮询数据，这样nextTuple只会轮询。提示3：尝试将setMaxSpoutPending设置为1。提示4：确保每个bolt的execute（tuple）方法都是优化的。