流处理引擎的并行性行为

Question

相反，如果我从web服务器收集数据，为什么不直接使用相同的节点进行事件处理呢？这些操作已经由负载均衡器分布在节点上，我在web服务器上使用负载均衡器。我可以在相同的JVM实例上创建执行器，并将事件从web服务器异步发送到执行器，而不涉及任何额外的IO请求。我还可以监视web服务器中的执行器，并确保执行器处理了事件（至少一次或恰好一次处理保证）。通过这种方式，管理我的应用程序将容易得多，而且由于不需要太多的IO操作，因此与通过网络（也不可靠）将数据发送到另一个节点并在该节点中处理数据的另一种方式相比，它将更快。

很可能我在这里遗漏了一些东西，因为我知道许多公司积极使用Storm，我认识的许多人推荐Storm或其他流处理引擎用于实时事件处理，但我就是不明白。

Answer 1

我的理解是，使用Storm这样的框架的目标是从应用程序/Web服务器上卸载繁重的处理（无论是CPU绑定、I/O绑定还是两者都绑定），并保持它们的响应。

考虑到每个应用程序服务器可能必须服务大量并发请求，并不是所有请求都与流处理有关。如果应用服务器已经在处理大量事件，那么它可能会对较轻的请求构成瓶颈，因为服务器资源（例如cpu使用、内存、磁盘争用等）已经与较重的处理请求绑定在一起。

如果您需要面对的实际负载没有那么重，或者如果可以通过添加app server实例来简单地处理，那么当然，复杂您的架构/拓扑是没有意义的，这实际上可能会降低整个过程的速度。它实际上取决于您的性能和负载需求，以及您可以在问题上投入多少（虚拟）硬件。像往常一样，基于负载需求的基准测试将有助于做出选择。