Apache kafka与ActiveMQ有什么区别

Question

我正在研究Apache Kafka。我想知道哪一个更好：Kafka或ActiveMQ。这两种技术的主要区别是什么？我想在Spring MVC中实现Kafka。

Answer 1

我每周都听到这个问题。。。虽然ActiveMQ（与IBM MQ或JMS一般一样）用于传统消息传递，但Apache Kafka用作流平台（消息传递分布式存储数据处理）。两者都是为不同的用例构建的。

您可以将Kafka用于“传统消息传递”，但不能将MQ用于Kafka特定的场景。

文章“Apache Kafka vs.Enterprise Service Bus（ESB）-朋友、敌人还是朋友(https://www.confluent.io/blog/apache-kafka-vs-enterprise-service-bus-esb-friends-enemies-or-frenemies/)“讨论为什么Kafka不是竞争对手，而是对集成和消息传递解决方案（包括ActiveMQ）的补充，以及如何将两者集成。

Answer 2

Kafka体系结构不同于ActiveMQ。

在Kafka中，生产者将消息发布到主题，主题是特定类型的消息流。消费者将通过拉取数据订阅经纪人的一个或多个主题。

关键区别：

>

ActiveMQ Broker必须维护每条消息的传递状态，从而降低吞吐量。与ActiveMQ不同，Kafka生产者不等待代理的确认，并且以代理可以处理的速度发送消息。如果代理可以像生产者一样快地处理消息，则总体吞吐量将很高。

Kafka有一种更高效的存储格式。平均而言，Kafka中每条消息的开销为9字节，而ActiveMQ中为144字节。

在AcitveMQ中，生产者向经纪人发送消息，经纪人向所有消费者推送消息。生产者有责任确保消息已被传递。在Kafka中，消费者将在自己的时间从经纪人那里拉取消息。消费者有责任消费它应该消费的消息。

AMQ中的慢消费者可能会导致非持久主题的问题，因为它们可以迫使代理将旧消息保留在RAM中，一旦它填满，就会迫使代理减慢生产者的速度，从而导致快速消费者减慢速度。Kakfa中的慢消费者不会影响其他消费者。

在Kafka中，消费者可以回放到旧的偏移量并重新使用数据。当您修复一些问题并决定在问题解决后重新播放旧消息时，此功能非常有用。

队列和主题的性能可能会随着ActiveMQ中增加更多消费者而降低。但是Kafka并没有因为增加更多消费者而失去优势。

由于分区的复制，Kafka具有高度可扩展性。它可以确保在分区中按顺序传递消息。

ActiveMQ是传统的消息传递系统，Kakfa适用于具有大量数据的分布式处理系统，对流处理有效

由于上述效率，Kafka吞吐量高于ActiveMQ和RabbitMQ等普通消息传递系统。

更多详细信息请参见备注。斯蒂芬·霍利迪。通用域名格式

编辑：这特别适合那些认为制作人不需要等待经纪人确认就可以阅读ActiveMQ文档页面的人

ProducerWindowSize是生产者在等待来自代理的确认消息（它已接受以前发送的消息）之前将传输给代理的最大数据字节数。

Answer 3

Kafka和ActiveMQ可能有一些重叠，但它们最初是为不同的目的而设计的。所以比较它们就像比较苹果和桔子一样。

Kafka

Kafka是一个分布式流媒体平台，具有很好的水平扩展能力。它允许应用程序处理和重新处理磁盘上的流数据。由于其高吞吐量，通常用于实时数据流。

ActiveMQ

ActiveMQ是一个通用消息代理，支持AMQP、STOMP、MQTT等多种消息传递协议。它支持更复杂的消息路由模式以及企业集成模式。一般来说，它主要用于应用程序/服务之间的集成，尤其是在面向服务的架构中。