阿帕奇Kafkavs阿帕奇Storm
Apache Kafka：分布式消息传递系统
Apache Storm：实时消息处理
我们如何在实时数据管道中使用这两种技术来处理事件数据？
在实时数据管道方面，我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术？
共有1个答案
您将Apache Kafka用作分布式和健壮的队列，它可以处理大量数据，并使您能够将消息从一个endpoint传递到另一个endpoint。
风暴不是队列。它是一个具有分布式实时处理能力的系统，这意味着您可以并行地对实时数据执行各种操作。
这些工具的通用流程（据我所知）如下：
所以你有你的实时应用程序处理大量的数据，把它发送到Kafka队列。Storm从Kafaka那里提取数据，并进行一些必要的操作。此时，您通常希望从这些数据中获得一些好处，因此您可以将其发送到某个Nosql db以进行额外的BI计算，或者您可以简单地从任何其他系统中查询这个Nosql。
-
我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个分区主题，有8个分区。在本主题中，我生成了1000条消息，分布在8个分区中。我的笔记本电脑中有8个内核，因此我有8个子任务（默认情况下，并行度=#个内核）。在执行Eclipse中的代码后，我打开了Flink UI，发现一些子任务没有收到任何记录（空闲）。我希望所有8个子任务都能得到利用（我希望每个子任务都映射到我的主
-
我们需要的是直接的API来设置和使用集群消息队列。我们最初的计划是使用Camel在集群JMS或ActiveMQ队列上进行消费/生产。Kafka如何使这项任务变得更容易？在任何一种情况下，应用程序本身都将在WebLogic服务器上运行。 消息传递将是点对点类型，其中有多个相同服务的实例在运行，但根据负载平衡策略，只有一个实例应该处理消息并发出结果。消息队列也是群集的，因此服务实例或队列实例的失败都不
-
目前我正在研究Apache spark和Apache ignite框架。 这篇文章介绍了它们之间的一些原则差异，但我意识到我仍然不理解它们的目的。 我的意思是，哪一个问题更容易产生火花而不是点燃，反之亦然？
-
我正试图找出这两种设置之间的区别。大小和缓冲区。Kafka制作人的记忆。 据我所知。大小：这是可以发送的批次的最大大小。 文档描述了缓冲区。memory as：生产者可以用来缓冲等待发送的记录的内存字节。 我不明白这两者之间的区别。有人能解释一下吗？ 谢啦
-
我正在做一个学术项目，涉及传感器的流数据。我已经包围了苍鹭（Storm的接班人）和尼菲。两者都支持内置背压，这对我的项目至关重要。Apache Nifi和Heron之间的主要区别是什么？ 哪款更适合物联网应用？
-
我试图使用Apache Camel Quartz2实现一个调度器，它每分钟执行一次路由，并按预期执行一些任务。我使用spring DSL实现与apache camel相关联的路由，如下所示： 根据日志，它不会记录为路由记录的消息，例如Direct:DomainsWithFTPUsers等等。请指导如何实现同样的目标。