ack引起的Storm潜伏期

Question

我用Kafka-Storm来连接Kafka和Storm。我有3台服务器运行zookeeper，kafka和Storm。Kafka中有一个主题“测试”，它有9个分区。

在storm拓扑中，KafkaSpout执行器的数量是9，默认情况下，任务的数量也应该是9。“提取”螺栓是唯一连接到KafkaSpout的螺栓，即“原木”喷口。

从用户界面来看，喷口的失败率很高。但是，bolt中执行的消息数=发出的消息数-bolt中失败的mesage数。当失败的消息一开始为空时，这个等式几乎是匹配的。

Answer 1

如果您设置的数量为0，那么Storm将自动ack每一个样本。

config.setNumAckers(0);

请注意，UI只测量并显示5%的数据流。除非你设置

config.setStatsSampleRate(1.0d);

尝试增加螺栓的超时时间并减少topology.max.spout.pending的数量。

    config.put(Config.TOPOLOGY_TRANSFER_BUFFER_SIZE,32);
    config.put(Config.TOPOLOGY_EXECUTOR_RECEIVE_BUFFER_SIZE,16384);
    config.put(Config.TOPOLOGY_EXECUTOR_SEND_BUFFER_SIZE,16384);