《中邮消费金融有限公司》专题

问题内容： 我对于如何使用特定的生产者-消费者模式感到困惑，在该模式中，生产者和消费者都可以同时并独立地进行操作。 首先，考虑以下示例，该示例紧随docs中的示例： 关于此脚本，有一个更详细的细节：通过常规的for循环将项目同步放入队列。 我的目标是创建一个使用（或）和的脚本。两者都应安排为同时运行。没有一个消费者协程明确地与生产者绑定或链接。 我如何修改上面的程序，以便生产者是可以与消费者/工人

我想制作下面的数据发送架构。 生产商-- 消费者服务器可以关闭，因此我认为应该至少有两个消费者。是这样吗？ 当一个数据流有两个使用者时，是否有任何方法可以处理每个使用者一半的数据？正如我所知，这是不可能的。如果每个消费者都使用相同的数据，那就是浪费时间和成本。因为我只为高可用性提供了两个消费者。（用于故障切换） 在web was体系结构中，ELB或L4可以通过负载平衡将一半数据发送到每个was服务

我有一个Kinesis生产者，它将单一类型的消息写入流。我想在多个完全不同的消费者应用程序中处理这个流。因此，给定主题/流的具有单个发布者的发布/订阅。我还想利用检查点来确保每个消费者处理写入流的每条消息。 最初，我对所有消费者和生产者使用相同的应用程序名称。但是，一旦我启动多个消费者，我就开始收到以下错误： 通用域名格式。amazonaws。服务。运动。模型InvalidArgumentExce

嗨，我正在使用KafkaCLI，以清楚地了解Kafka的工作原理。我对消费者群体感到困惑。我用三个分区创建了主题。我将创建producer，为主题提供一些数据。第一次我添加了一些数据，如下所示。 现在我的理解是user1、user2、user3会随机到三个不同的分区。 创建消费群时，如下所示。 这将给我所有的user1、user2、user3。 现在，在一个消费者组中，我可以有许多消费者。如果消费

场景： 运行从名为“test”的具有10个分区的分区中消耗的Spring Boot项目。分区分配发生在13:00:00 在~13:00:30使用： 在~13:05:30触发分区重新分配。 我运行了几次这些步骤，看起来每5分钟就有一次重新分配 是否有办法更改重新分配检查操作频率 编辑： 我的用例如下：我们有引导微服务的集成测试。当主题的使用者首先引导时，如果主题不存在并且它创建的分区数等于配置的并发

我们正在开发一个应用程序，我们想听Kafka中不止一个主题。所有主题都有一个分区。所有主题名称都有一个公共的前缀，例如“test-x”、“test-y”，所以我们可以对它使用spring。 我们希望编写一个java spring使用者，它使用模式监听所有主题。我们的想法是，我们可以运行同一个消费者（属于同一个组）的多个实例，Kafka将为不同的消费者分发来自不同主题的消息。 然而，这似乎并不奏效。

我对SpringBoot中的Kafka批处理侦听器有问题。 这是@KafkaListener 对于我的问题，这个解决方案不起作用，因为提交批处理。对于我的解决方案，我需要提交单个消息的偏移量。 我尝试使用

我有一个基于服务的应用程序，它使用Amazon SQS，具有多个队列和多个消费者。我这样做是为了实现一个基于事件的架构，并解耦所有服务，其中不同的服务对其他系统状态的变化做出反应。例如： 注册服务： 当新用户注册时，发出事件“registration new” 在用户更新时发出事件'user-更新'。 从队列“registration new”（注册新）中读取，并为搜索中的用户编制索引 从“注册-

我看了Kafka的文件，还不知道如何消费一个话题平行？ 假设：我有一个像“发生了一些事情”这样的话题（不要拆分这个话题），我有很多想消费它的客户。那么该怎么办，让多个客户并行消费呢？我应该使用分区和客户群吗？

我们有一个问题，似乎Kafka消费者没有收到发布到某个主题的消息。（我说这是因为我还没有弄清楚这件事的真相，我可能错了。） 我使用Spring for Apache Kafka，而我的消费者实际上是一个用注释的方法。 这个问题是断断续续的，我很难重新创建它。 有没有一种方法让我看看Kafka经纪人的日志，或任何其他工具，以帮助我找出抵消为我的消费者？我想要具体的证据来证明我的消费者是否收到了信息。

请有人向我解释一下这两种方法的区别： 以及：

Spring cloud stream starter kafka在连接消费者时没有加载配置。以下是我在调试模式下运行控制台时在控制台中看到的配置： 我有以下引导yml文件的配置部分

我开发了一个基于Java的Kafka消费者，其中每个消费者实例有100个线程，当消费过程开始时，每个线程都得到一个分区（因为有100个分区），然后消费就完成了。 但这里的问题是这只是一个消费者。但是如果我添加多个nodejs进程，我可以完成100个消费者，但是添加每个消费者是一个成本很高的再平衡操作。 我想知道这是否正确的做法？有没有一种方法可以使用Kafka节点触发一个100线程的消费者？

我使用MQTT消费者作为我的flink作业的数据源。我想知道如何将数据偏移保存到检查点中，以确保flink集群在故障后重新启动时不会丢失数据。我看过很多介绍apache flink如何管理kafka消费者补偿的文章。有人知道apache flink是否有自己的功能来管理MQTT使用者吗？谢谢

我克隆了SCDF Kinesis示例：https://github.com/spring-cloud/spring-cloud-dataflow-samples/tree/master/dataflow-website/recipes/kinesisdemo并运行相同的示例。kinesis生产者正在运行并将事件发布到kinesis。但是，由于以下错误，Kinesis消费者Spring启动失败。请让