Storm集群重复元组

Question

目前，我正在进行一个项目，在该项目中，我设置了一个跨四台Unix主机的Storm集群。

1. JMS Spout侦听MQ的新消息
2. JMS Spout解析，然后将结果发送给Esper bolt
3. Esper Bolt然后处理事件并向JMS Bolt发出结果
4. JMS Bolt然后就不同的主题将消息发布回MQ

我意识到Storm是一个“至少一次”的框架。但是，如果我接收到5个事件并将这些事件传递到Esper Bolt进行计数，那么由于某种原因，我在JMS Bolt中接收到5个计数结果（都是相同的值）。

理想情况下，我想接收一个结果输出，有什么方法可以告诉Storm忽略重复的元组吗？

 TopologyBuilder builder = new TopologyBuilder();
    builder.setSpout(JMS_DATA_SPOUT, new JMSDataSpout(),2).setNumTasks(2);
    builder.setBolt("esperBolt", new EsperBolt.Builder().build(),6).setNumTasks(6)
            .fieldsGrouping(JMS_DATA_SPOUT,new Fields("eventGrouping"));
    builder.setBolt("jmsBolt", new JMSBolt(),2).setNumTasks(2).fieldsGrouping("esperBolt", new Fields("eventName"));

Answer 1

如果您的Esper Bolt没有在其execute（）方法的末尾显式ack（）每个元组，或者使用iBasicBolt实现，那么它接收到的每个元组最终将在超时后由您的原始JMS Spout重播。

或者，如果您要求bolt“只处理唯一的消息”，请考虑将此处理行为添加到execute（）方法中。它可以首先检查本地Guava缓存的元组值的唯一性，然后进行相应的处理。