《中邮消费金融》专题

我是一个新手。我有需要读取Kafka流和过滤数据的要求 这是Spring批处理配置。 并且存在开始新作业的控制器endpoint。这是我必须使用的方式：开始新工作 我已经看到KafkaItemReader不是线程安全的。我想知道这种方法是正确的，还是有任何方法可以在多线程spring批处理环境中读取kafka流。谢谢

我试图更好地理解如何在酒吧子模型中与多个消费者进行话题交流。假设我有 一个名为Log的持久队列 发布者主题交换，它将所有日志消息（日志。#）路由到此队列日志 我可以让多个消费者根据路由密钥从上述发布者队列“log”读取日志消息。e、 g.消费者C1-仅登录日志。x条信息，C2获取日志。有意思的消息。。等等 简言之，是否可以让多个消费者从同一队列中读取信息，但只获取经过过滤的消息，或者每个消费者必须

我有一个使用Spring Boot相关项目的项目。我想在项目中使用Kafka消费者和生产者的Transactional功能。我需要尽可能高效地在Kafka中生成大量消息。所以我需要一个多线程消费和生产来满足这个要求。如何使用Spring boot开发多线程消费者和生产者？

我想使用Camel从ActiveMQ获取一条消息，然后根据消息内容（protobuf）向Twitter发送一条或多条消息。我编写了一个从路由内调用的bean，它使用注入将多条消息发送到“direct：xyz”endpoint。 这个豆子看起来像：- 我在其他路线上也遇到过这个问题（这肯定与Twitter功能无关），但刚刚解决了这个问题。然而，这一次，我想真正理解问题是什么！如有任何帮助，不胜感激，

我正在使用（java）LinkedBlockingQueue创建资源池，其中 资源元素是等价的，属于一个池，它们的排序是无关紧要的。 消费者是竞争线程，一次抓取一个资源，使用“拉”操作，处理资源，然后通过“添加”操作将其返回给池。 当特定资源被消费者线程使用时，它不得对其他消费者线程可用。 问题是：LinkedBlockingQueue不会对等待的消费者进行FIFO，而且服务水平也不统一。 关于这

我使用Zookeeper和Kafka作为使用Java的消息传递用例。我以为当您重新启动Zookeeper和Kafka服务器时，消费者组详细信息会被删除。但他们没有。zookeeper会将消费者组详细信息保存在某种文件中吗？ 如果我想重置消费者组，我应该手动删除消费者组详细信息吗？ 任何人都可以向我澄清这一点吗？

如果将与有状态重试一起使用，以便每次重试都从代理轮询消息，则存在消费者组重新平衡的长重试周期可能导致分区被重新分配给另一个消费者的风险。因此，有状态重试周期/尝试将被重置，因为新消费者不知道重试的状态。 举个例子，如果重试最长期限是24小时，但消费者组重新平衡平均每12小时发生一次，则重试永远无法完成，一旦超过保留期限，消息（及其背后的消息）最终将从主题中过期。（假设在此时间内未解决可重试异常的原

更新： 通过从开始：为目标群集上的使用者设置 false 找到了解决方法。不是最好的解决方案，但它的工作原理... 由于某些原因，所有使用者组偏移量都没有复制到目标群集。例如，我在源集群上用消费者组TEST启动消费者（所有消息都被拉入），然后在复制到目标集群的同一主题上启动消费者（使用消费者组TET），结果是两个消费者都获得了所有消息。 我读过关于消费者补偿翻译功能的文章，但是没有成功。 消费者配

我正在使用Spring靴和活动MQ设置一个持久的JMS主题使用者。我能够使用Spring靴@JmsListener注释来使一切正常工作（作为耐用消费者成功运行）。但是，因为我想动态创建侦听器，所以我尝试使用 JmsListener 配置接口来创建它们。 使用主题“消费者”下面的代码可以成功地创建和使用消息。但是，问题是它创造的消费者并不持久。我在工厂中将clientId、setSubscripti

我能够使用ApacheKafka提交偏移量类，并能够使用ConsumerConnector进行提交。我查看了apache camel kafka组件，该组件的使用者选项与“auto.commit.enable”属性相同。现在，Camel Java DSL中是否有任何属性或方法，在使用消息后，我们可以手动提交偏移量（通过URL中提供的方法或消费者选项），或者我们必须再次使用Kafka消费者API提交

我对Kafka和Spring Boot是一种新的体验，并试图使我的应用程序从主题的特定分区读取。 单厂代码 这也是我的消费者工厂配置 当我试图运行程序时，它给我一个错误 分区Single上的偏移量提交失败。偏移量308处的Attendance-0：协调器不知道此成员。 和警告 失败：无法完成提交，因为组已重新平衡并将分区分配给另一个成员。这意味着对poll（）的后续调用之间的时间比配置的max.p

如果执行以下命令，我可以得到与shotcut相同的视频文件输出： 这简直太棒了！因为melt.exe直接生成的mlt文件没有这些消息，所以我需要调用melt两次来做同样的事情。 因此，我将向您展示如何使用melt.exe完成相同的操作。事情是这样的，我更喜欢在导出视频之前生成一个mlt文件。因此，我将键入以下命令： 你可能会问为什么不这样做呢？ 好吧，这绝对是对的。但是，除了最终的视频文件之外，什

我是AMQP的新手，正在尝试为RabbitMQ系统制定一个通知架构。 我想要一个主题交换（通知交换，比方说），特别是因为我想灵活地使用主题交换附带的路由密钥和队列，以及将来扩展该主题的更多选项。不过，我可能是错的，因为... 我还想让两个或更多的消费者使用每个通知。作为基线，我希望发布的每个通知都在数据库中结束。此外，我希望每个通知都可以由客户端应用程序使用(例如，web应用程序使用并进一步通过套

Avro对单个Kafka主题的信息进行编码，单个分区。这些消息中的每一条都只能由特定的消费者使用。对于ex，关于这个主题的消息a1、a2、b1和c1，有3个消费者，分别名为A、B和C，每个消费者将获得所有消息，但最终A将使用a1和a2、b1上的B和c1上的C。 我想知道当在Kafka上使用avro时，这是如何典型地解决的： 让使用者反序列化消息，然后由某个应用程序逻辑决定使用消息还是删除消息 使用

我对kafka ACL配置有点困惑，在这里我们为生产者和消费者配置授权。有各种示例显示使用命令行生成/消费消息。我们是否需要任何额外的配置来使用JAVA api产生/消费消息到/从安全的kafka主题。