阿帕奇Kafka消费者与生产者的困惑
我知道什么是生产者和消费者。但官方文件显示
-
< li >它是流媒体平台。 < li >它是企业消息系统。 < li>Kafka具有从数据库和其他系统导入和导出数据的连接器。
这是什么意思？
我知道生产者是向Kafka Broker发送数据的客户端应用程序，消费者也是从Kafka Broker读取数据的客户端应用程序。
但我的问题是，消费者可以将数据推送到Kafka Broker吗？
据我所知，我认为如果消费者想要将数据推送到Kafka Broker，它就会成为生产者。这是对的吗？
共有3个答案
生产者生产/发布/发布消息，而消费者消费/获取/读取消息。
消费者只能阅读，当你想写作时，你需要一个制片人。消费者不可能成为生产者。
1.它是一个流媒体平台。
它用于在具有存储层和处理层的公共用户模型上分发数据。
2.它是一个企业消息系统。
大数据基础设施是开源的，因此大数据市场每年的成本约为400亿美元，并且可能会日益增加。因此，它已经成为硬件主机。尽管他的大部分软件都是开源的，但仍有很多钱要赚。
3.Kafka具有从数据库和其他系统导入和导出数据的连接器。
Kafka connect提供连接器，即源连接器、Sink连接器、JDBC连接器。它提供了从源导入数据并将其导出到多个目标的功能。
生产者：它只能将数据推送到Kafka代理，或者我们可以说发布数据。
消费者：它只能从 Kafka 代理提取数据。
-
以下是《行动中的骆驼》中关于生产者和消费者的定义。 使用者可以从外部服务接收消息，在某些系统上轮询消息，甚至创建消息本身。然后，该消息流经一个处理组件，该组件可以是企业集成模式(EIP)、处理器、拦截器或其他一些自定义创建。消息最终被发送到一个目标endpoint，该endpoint是生产者的角色。路由可能有许多修改消息或将其发送到另一个位置的处理组件，也可能没有，在这种情况下，它将是一个简单的管
-
我做了一个poc，其中我使用spark流从Kafka读取数据。但我们的组织要么使用ApacheFlink，要么使用Kafka消费者从ApacheKafka读取数据，作为标准流程。所以我需要用Kafka消费者或ApacheFlink替换Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据并将字段放入cassandra中，因此建议使用kafka consumer而不是f
-
我对骆驼生产商有很好的了解，但我不能对各种骆驼消费者保持清醒的头脑。特别是事件驱动消费者和轮询消费者，camel如何知道为这些消费者调用回调？ 消费者的一般流量是多少？
-
向Kafka推送100,000条消息 在使用者使用所有100,000条消息之前，使用Ctrl-C关闭zookeeper和kafka服务（这是通过在consumer方法中使用来模拟的）。 发现 在zookeeper和kafka服务被关闭后，消费者继续在控制台上写消息。 问题 我如何使消费者从上次消费的消息的索引+1继续。 向Kafka推送100,000条消息 在使用者使用所有100,000条消息之前
-
我正在处理一个kafka用例，在这个用例中，我需要在生产者和消费者端具有事务性语义...我可以使用kafka transaction API 0.11将事务性消息发布到kafka集群，但在消费者端，我面临着一个问题...我在属性文件中设置了但我不能使用它...我可以看到消息被使用但这不是希望的... 生产者代码 ProducerTX.Properties 消费者 感谢你的帮助..谢谢
-
我已经和ApacheCamel合作了一段时间，做了一些基本的工作，但现在我正在尝试创建一个路由，在该路由中，我可以让多个“消费者”访问同一条路由，或者在路由中添加一个消费者，然后处理消息。 我的想法是拥有一个由事件触发的事件驱动消费者，然后例如从ftp读取文件。我正计划做这样的事情： 所以这个想法是我有一个事件（例如直接或来自消息队列），它具有“fileName”属性，然后使用该属性从ftp下载/