流处理和消息处理的区别

Question

流处理和传统消息处理的基本区别是什么？正如人们所说，kafka是流处理的好选择，但本质上，kafka是一个类似于ActivMQ、RabbitMQ等的消息传递框架。

为什么我们通常不说ActiveMQ也适合流处理呢。

消费者消费消息的速度是否决定了它是否是流？

Answer 1

基本上，Kafka是类似于ActiveMQ或RabbitMQ的消息传递框架。有一些努力将Kafka推向流媒体是由ConFluent做出的。

https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/

那么，为什么Kafka在谈到流处理时会出现呢？

流处理框架与数据输入不同。在批处理中，您将一些文件存储在文件系统中，您希望连续处理这些文件并存储在某个数据库中。而在Spark、Storm等流处理框架中，将从某些传感器设备获得连续输入，api feed和kafka用于为流式计算引擎提供信息。

Answer 2

如果您喜欢拆分头发：消息传递是两个或多个进程或组件之间的通信，而流式传输是事件日志发生时的传递。消息携带原始数据，而事件包含有关发生和活动的信息，例如订单。所以Kafka兼而有之，消息传递和流式传输。Kafka中的主题可以是原始消息或事件日志，通常会保留数小时或数天。事件可以进一步聚合为更复杂的事件。

Answer 3

在传统的消息处理中，您对消息应用简单的计算——在大多数情况下，每个消息单独进行计算。

在流处理中，您可以同时对多个输入流和多个记录（即消息）应用复杂的操作（如聚合和联接）。

此外，传统的消息传递系统无法“回到时间”——也就是说，它们在发送给所有订阅的消费者后会自动删除消息。相比之下，Kafka使用基于拉动的模型（即消费者从Kafka中拉出数据）在可配置的时间内保留消息。这允许用户多次“倒带”和使用消息——或者，如果您添加了一个新的用户，它可以读取完整的历史记录。这使得流处理成为可能，因为它允许更复杂的应用程序。此外，流处理不一定是关于实时处理——它是关于处理无限的输入流（与批量处理相反，批量处理适用于有限的输入）。

Kafka提供Kafka Connect和Streams API——因此它是一个流处理平台，而不仅仅是一个消息传递/发布子系统（即使它在其核心中使用它）。