在一个项目中,Node.js应用程序连接到Kafka消息队列,并从队列中获取所有消息。 我搜索并找到了两个包kafka-node和kafka-streams。 哪种套餐适合这里?
https://www.npmjs.com/package/kafka-node
https://www.npmjs.com/package/kafka-streams
这两个库都可以,问题是您想要进行流处理还是只访问消息并在自定义代码中进行处理。 简单的客户机将是容易和向前的。 streams版本为实时处理和聚合提供了更多特性,但学习曲线陡峭!
streams streams_overview Kafka Streams is a client library for processing and analyzing data stored in Kafka and either write the resulting data back to Kafka or send the final output to an external s
Kafka Streams 是一个用于处理和分析存储在 Kafka 系统中的数据的客户端库。 它建立在重要的流处理概念上,如恰当地区分事件时间(event time)和处理时间(processing time),支持窗口操作(window),exactly-once 处理语义以及简单高效的应用程序状态管理。 Kafka Streams 的入门门槛很低。我们可以在单节点环境上快速实现一个小规模的验证
我的理解是spring-kafka是为了与Kafka Client API交互而创建的,后来,spring-cloud-stream项目是为了“构建与共享消息系统连接的高度可扩展的事件驱动微服务”而创建的,该项目包括几个绑定器,其中一个是允许与Kafka Stream API交互的绑定器: 所以我很清楚,如果我想与Kafka流API交互,我将使用Spring-Cloud-Stream方法和适当的绑
我正在使用SpringBoot和Kafka流,尽管我没有使用SpringCloud流。 我确实使用了并将设置为: 但当我启动应用程序时,我点击了以下NPE: 更新: 我使用以下依赖项: Spring靴2.5.5 千分尺1.7.4 apache kafka streams 3.0.0 感谢您的帮助!谢谢
Redis团队为Redis 5.0引入了新的Streams数据类型。由于Streams从第一视角看起来像Kafka主题,因此似乎很难找到使用它的真实世界示例。 在streams intro中,我们与Kafka streams进行了比较: 运行时消费者组处理。例如,如果三个消费者中的一个永久失败,Redis将继续服务第一个和第二个,因为现在我们只有两个逻辑分区(消费者)。 Redis流更快。他们从内
Below is the configuration of the Kafka Streams client library.
我有下面的Kafka流代码 现在我们的一个客户端正在发送关于kafka标头的版本信息,如下所示。 基于这个标题,我需要为我的消息选择解析器,如何使用KStream操作符读取这个标题?我看过流的所有API,但没有方法给出头 我不能改成普通的kakfa消费者,因为我的应用程序已经依赖于少数KStream API。。
我能做到写作和阅读的中间主题: 有没有简单的方法从中获取?这是我第一个使用Kafka Streams的应用程序,所以我可能错过了一些明显的东西。