暴风不受控制元组乘法

Question

我试图把Kafka数据通过Storm在hdfs和Hive。我在和HortonWorks合作。因此，我有以下结构，正如在许多教程（http://henning.kropponline.de/2015/01/24/hive-streaming-with-storm/）中看到的那样（稍加修改）：

 TopologyBuilder builder = new TopologyBuilder();

 builder.setSpout("kafka-spout", kafkaSpout);

 builder.setBolt("hdfs-bolt", hdfsBolt).globalGrouping("kafka-spout");

 builder.setBolt("parse-bolt", new ParseBolt()).globalGrouping("kafka-spout");

 builder.setBolt("hive-bolt", hiveBolt).globalGrouping("parse-bolt");  

我将kafka-spout数据直接发送到hdfs-bolt，当我只使用hdfs-bolt时，它是工作的。当我添加parse-bolt来解析kafka-data并将其发送到hive-bolt时，整个系统会变得疯狂。即使我只是通过kafka发送一条消息，这个消息也会被kafka-spout复制无限次，并写入hdfs infinite。

如果parse-bolt中出现错误，hdfs-bolt不应该还正常工作吗？我对这个话题是新认识的，有人能看出一个简单的初学者的错误吗？我很感激任何建议。

Answer 1

你在两个Bolt行刑结束时都在收留言吗？

当您从同一流从您的kafka-spout读取时，消息将锚定到同一spout但具有唯一的MessageID。因此，本质上即使您的parse-bolt元组失败，由于它锚定到同一个spout，它将在spout处被重播。这将导致另一个具有不同messageId但相同内容的元组为订阅它的所有bolt播放，在您的例子中是parse-bolt和hdfs-bolt。请记住，重播发生在Spout，因此从Spout订阅到该流的所有内容都将得到冗余消息。