阿帕奇StormKafka喷出滞后问题

Question

我正在使用Storm 1.1.2和Kafka 0.11构建一个Java Spring应用程序，将在Docker容器中启动。

我的拓扑中的所有东西都按计划工作，但在Kafka的高负载下，Kafka滞后会随着时间的推移越来越大。

我的KafKaspoutConfig：

 KafkaSpoutConfig<String,String> spoutConf = 
     KafkaSpoutConfig.builder("kafkaContainerName:9092", "myTopic")
     .setProp(ConsumerConfig.GROUP_ID_CONFIG, "myGroup")
     .setProp(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, MyObjectDeserializer.class)
     .build()

那么我的拓扑结构如下

TopologyBuilder builder = new TopologyBuilder();

builder.setSpout("stormKafkaSpout", new KafkaSpout<String,String>(spoutConf), 25);

builder.setBolt("routerBolt", new RouterBolt(),25).shuffleGrouping("stormKafkaSpout");

Config conf = new Config();
conf.setNumWorkers(10);
conf.put(Config.STORM_ZOOKEEPER_SERVERS, ImmutableList.of("zookeeper"));
conf.put(Config.STORM_ZOOKEEPER_PORT, 2181);

conf.put(Config.NIMBUS_SEEDS, ImmutableList.of("nimbus"));
conf.put(Config.NIMBUS_THRIFT_PORT, 6627);

System.setProperty("storm.jar", "/opt/storm.jar");

StormSubmitter.submitTopology("topologyId", conf, builder.createTopology());

conf.setNumAckers(0);

conf.put(Config.TOPOLGY_ACKER_EXECUTORS, 0);

Answer 1

您可能会受到https://issues.apache.org/jira/browse/storm-3102的影响，这会导致spout对每一次发射都进行非常昂贵的调用。请尝试升级到其中一个已修复的版本。

编辑：修复实际上还没有发布。您可能仍然希望通过使用https://github.com/apache/storm/tree/1.1.x-branch从源代码处构建spout来尝试该修复，以构建一个1.1.4快照。