阿帕奇Storm和Flink的区别

Question

我正在使用这两个实时数据流框架处理器。我找遍了所有的地方，但我找不到这两个框架之间有很大的区别。特别是，我想知道他们是如何工作的基础上的数据或拓扑等大小。

Answer 1

区别主要在于处理数据流的抽象级别。

Apache Storm的级别更低一些，它处理连接在一起的数据源（spout）和处理器（Bolts)，以反应的方式对单个消息执行转换和聚合。

有一个Trident API，它将这个低级消息驱动视图抽象成更多的聚合查询，比如构造，这使得集成起来更加容易。（还有一个类似SQL的接口用于查询数据流，但仍标记为实验性的。）

TridentState wordCounts =
     topology.newStream("spout1", spout)
       .each(new Fields("sentence"), new Split(), new Fields("word"))
       .groupBy(new Fields("word"))
       .persistentAggregate(new MemoryMapState.Factory(), new Count(), new Fields("count"))                
       .parallelismHint(6);

 DataStream<WordWithCount> windowCounts = text
            .flatMap(new FlatMapFunction<String, WordWithCount>() {
                @Override
                public void flatMap(String value, Collector<WordWithCount> out) {
                    for (String word : value.split("\\s")) {
                        out.collect(new WordWithCount(word, 1L));
                    }
                }
            })
            .keyBy("word")
            .timeWindow(Time.seconds(5), Time.seconds(1))
            .reduce(new ReduceFunction<WordWithCount>() {
                @Override
                public WordWithCount reduce(WordWithCount a, WordWithCount b) {
                    return new WordWithCount(a.word, a.count + b.count);
                }
            });

当我评估这两个的时候，我选择了Flink，只是因为当时它感觉更有文件记录，我更容易开始使用它。Storm略显模糊。有一个关于Udacity的课程帮助我更好地理解了它，但最终Flink还是觉得更适合我的需求。

您可能还想看看这里的答案，尽管有点老，所以这两个项目肯定都是从那时起发展起来的。