在尊重maxSpoutPending的同时关闭KafkaSpout中的添加

Question

我用的是暴风0.9.3。我正在尝试关闭拓扑的每元组计数。我将config.topology_acker_executors设置为0，将maxSpoutPending设置为500。当我运行我的拓扑时，我注意到maxSpoutPending被忽略了，并且spout继续发射，远远超过了这个限制。这是我的配置-

config.setNumWorkers(3);
config.setMaxSpoutPending(500);
config.put("topology.sleep.spout.wait.strategy.time.ms", 50);
config.put("topology.message.timeout.secs", 300);
config.put(Config.TOPOLOGY_ACKER_EXECUTORS, 0);

我用KafkaSpout来读Kafka的文章，用一个螺栓来读Kafka的文章。

Answer 1

通过将topology_acker_executors设置为0，当所有元组离开spout时，storm将立即确认这些元组，这可能是不可靠的，因为没有任何机制可以检查元组是否被处理或失败。
并且通过设置setmaxspoutpending告诉storm要处理的spout上挂起的元组的最大数量。MaxSpoutPending不会限制输出。如果您想查看storm拓扑的实际输出频率，请检查storm UI中运行的storm拓扑的topology Latency。