Kafka消费者Vs阿帕奇·Flink
我做了一个poc，其中我使用spark流从Kafka读取数据。但我们的组织要么使用ApacheFlink，要么使用Kafka消费者从ApacheKafka读取数据，作为标准流程。所以我需要用Kafka消费者或ApacheFlink替换Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据并将字段放入cassandra中，因此建议使用kafka consumer而不是flink/其他流，因为我实际上不需要对kafka json数据进行任何处理。因此，我需要您的帮助来理解以下问题：
>
使用Kafka consumer，我可以实现与spark streaming或flink相同的连续数据读取吗？
考虑到我需要从Kafka读取数据，使用avro scehma反序列化，过滤字段并放入cassandra，Kafka消费者对我来说足够了吗？
Kafka消费者应用程序可以使用Kafka消费者应用程序接口创建，对吗？
如果我只是使用Kafka消费者而不是Apache flink，我的情况会有什么不利之处吗？
共有1个答案
首先，让我们来看看Flinka Kafak连接器和Kafka的Spark Streaming，它们都在内部使用Kakfa消费者应用编程接口（简单应用编程接口或高级应用编程接口）来消费来自Apache Kafka的消息。
所以，关于你的问题：
1） 对
2）是的。但是，如果您使用Spark，您可以考虑使用Spark Cassandra连接器，这有助于我们高效地将数据保存到Cassandara中
3） 对
4）如上所述，Flink也使用Kafka消费者进行工作。此外，它是一个分布式流和批量数据处理，它帮助我们在消耗Kafka数据后高效地处理数据。在您的情况下，要将数据保存到Cassandra中，您可以考虑使用Flink Cassandra Connector，而不是自己编码。
-
我对骆驼生产商有很好的了解，但我不能对各种骆驼消费者保持清醒的头脑。特别是事件驱动消费者和轮询消费者，camel如何知道为这些消费者调用回调？ 消费者的一般流量是多少？
-
我知道什么是生产者和消费者。但官方文件显示 < li >它是流媒体平台。 < li >它是企业消息系统。 < li>Kafka具有从数据库和其他系统导入和导出数据的连接器。 这是什么意思？ 我知道生产者是向Kafka Broker发送数据的客户端应用程序，消费者也是从Kafka Broker读取数据的客户端应用程序。 但我的问题是，消费者可以将数据推送到Kafka Broker吗？ 据我所知，我认
-
我们需要的是直接的API来设置和使用集群消息队列。我们最初的计划是使用Camel在集群JMS或ActiveMQ队列上进行消费/生产。Kafka如何使这项任务变得更容易？在任何一种情况下，应用程序本身都将在WebLogic服务器上运行。 消息传递将是点对点类型，其中有多个相同服务的实例在运行，但根据负载平衡策略，只有一个实例应该处理消息并发出结果。消息队列也是群集的，因此服务实例或队列实例的失败都不
-
我已经和ApacheCamel合作了一段时间，做了一些基本的工作，但现在我正在尝试创建一个路由，在该路由中，我可以让多个“消费者”访问同一条路由，或者在路由中添加一个消费者，然后处理消息。 我的想法是拥有一个由事件触发的事件驱动消费者，然后例如从ftp读取文件。我正计划做这样的事情： 所以这个想法是我有一个事件（例如直接或来自消息队列），它具有“fileName”属性，然后使用该属性从ftp下载/
-
但是，consumer只从主题中第一个未提交的消息开始轮询。我希望总是从偏移量0开始，不管提交的消息是什么。使用Alpakka消费者，如何手动指定偏移量？
-
以下是《行动中的骆驼》中关于生产者和消费者的定义。 使用者可以从外部服务接收消息，在某些系统上轮询消息，甚至创建消息本身。然后，该消息流经一个处理组件，该组件可以是企业集成模式(EIP)、处理器、拦截器或其他一些自定义创建。消息最终被发送到一个目标endpoint，该endpoint是生产者的角色。路由可能有许多修改消息或将其发送到另一个位置的处理组件，也可能没有，在这种情况下，它将是一个简单的管