多微批量Storm拓扑

Question

首先诚挚的道歉，如果我的问题是重复的，我尝试搜索，但没有找到我的问题的相关答案

首先真诚的道歉，如果我问一些很基本的东西，因为我是Storm的初学者。如果我的问题是重复的，因为我试着搜索但是找不到相关的答案

请就我下面的用例提出建议。

>

因此以25秒为频率的所有元组将汇集在一起，并由Bolt on每25秒发射一次（如果在25秒内收到重复的元组，则只考虑最新的一个元组）。

类似地，所有以10分钟为频率的元组将被合并在一起，并由Bolt每隔10分钟发出一次（如果在10分钟内收到重复的元组，则只考虑最新的一个）。

**现在我们可以有4-5种频率（例如10秒、25秒、10分钟、20分钟等，这些都是配置的），并且每个元组都应该被插入到适当的批处理中并发射（如上面的示例）。

通知一下。对于螺栓分组，我使用了“fieldsgrouping”作为下面的配置。

*.fieldsGrouping("FILTERING_BOLT",new Fields(PUBLISHING_FREQUENCY));*

请提供帮助或建议，对于我的用例来说，什么是最好的方法，因为我无法实现任何东西来处理并发元组的流动和管理Storm的内部并行性。

Answer 1

spout -> splitter -> 5 second window bolt
                  -> 10 second window bolt

public void declareOutputFields(OutputFieldsDeclarer declarer) {
    declarer.declare("5-sec-stream", ...);
    declarer.declare("10-sec-stream", ...);
}

public void execute(Tuple input) {
    if (frequencyIsFive(input)) {
        collector.emit("5-sec-stream", new Values(input.getValues()))
    }
    //more cases here
}

topologyBuilder.setBolt("splitter", new SplitterBolt())
     .shuffleGrouping("spout")

topologyBuilder.setBolt("5-second-window", new YourWindowingBolt())
     .globalGrouping("splitter", "5-sec-stream")

有关这方面的更多信息，请参见https://storm.apache.org/releases/2.0.0-snapshot/concepts.html，特别是关于流和分组的部分。

在https://github.com/apache/storm/blob/master/examples/storm-starter/src/jvm/org/apache/storm/starter/slidingwindowtopology.java上有一个窗口化拓扑的简单示例。

您可能需要注意的一件事是Storm的元组超时。如果您需要一个例如10分钟的窗口，您需要将元组超时从默认的30秒大幅提高，这样元组在队列中等待时就不会超时。您可以在配置拓扑时设置conf.setMessageTimeoutSecs(15*60)。您希望在窗口间隔和元组超时之间有一点回旋余地，因为您希望尽可能避免元组超时。