《中邮消费金融》专题

在多生产者设置中，有一个生产者线程和一个消费者线程。消费者可以将新事件发布回同一个环形缓冲区吗？我假设它在缓冲区已满时中断，并且消费者线程在处理当前事件时永远不会获得空闲插槽。换句话说，死锁会发生。 最好的方法是什么？我是否必须引入一种代理线程，它接收来自消费者的事件，并像普通生产者一样将它们发布到环形缓冲区？ 补充-为什么有用？假设消费者线程正在处理股市数据事件，它需要向市场模拟器（一个类）发送

如果我有3个由producer创建的分区，如果我在CF中部署3个实例，每个实例选择一个队列并使用索引处理消息，那么我可以使用cloud stream和rabbit mq开发示例消费者。 现在的问题是，如果我有10个分区，我似乎需要10个实例，这是浪费资源，我们可以让一个消费者监听多个分区吗。我之所以有基于分区的生产者，是因为对我来说，消息序列是处理事务的顺序。

我正在尝试实现一个PollableConsumer，当我在SpringBoot应用程序中遇到endpoint时，它会在特定条件下开始轮询来自Kafka的消息。 在特定条件下，我尝试了多种触发民意调查的方法，但显然，只有当它不断地从Kafka主题进行民意调查时，它才会起作用。（就像spring cloud stream文档中的所有示例一样） 我正在寻找这样的东西： 当我碰到这样的endpoint时可

这不是一个大问题，但我很好奇一些额外的流消费者来自哪里，如果这是一个设置，我可以改变。 我有一个针对本地Kafka经纪人的非常简单的spring cloud stream消费者设置。这是spring配置 以及消费者阶层本身： 但当我运行应用程序时，我可以看到输出中创建了3个消费者。但是，当我在我的本地代理中检查消费者组成员时，它总是只有一个消费者，并且总是创建的第二个消费者（即使用客户id测试组2

我们使用Flink 1.2.1，我们通过联合一个流到另一个流来从2个kafka流中消费，并处理联合流。例如stream1.union（stream 2）但是，stream 2的体积是stream 1的100多倍，我们正在经历的是stream 2有巨大的消耗滞后（超过3天的数据），但stream 1的滞后很少。我们已经有9个分区，但1个作为Parallelism，会增加paralelism解决str

我创建了一个带有三个分区的Kafka主题。使用Spring Kafka中的ProducerFactory，我可以创建一个producer实例。但是，我想创建三个生产者实例，因为我有三个分区。类似地，我想要三个consumer的实例。我该怎么做？请帮忙。

我希望有一个包含大量Lambda消费者的Kinesis流（不同的Lambda函数，而不仅仅是同一个函数的多个实例）。 Kinesis限制为每秒5次读取事务（docs）。Lambda函数将每秒轮询一个碎片。 这是否意味着，当我向流中添加第六个Lambda消费者时，我的读取应该受到限制？ 我知道一个流上超过5个消费者可以使用新的增强扇出功能，但是我找不到任何关于这个新功能的Lambda函数的提及。他们

我需要一些帮助来理解我如何能够提出一个解决方案使用Spring boot、Kafka、Resilence4J来实现来自我的Kafka消费者的微服务调用。假设微服务关闭了，那么我需要使用断路器模式通知我的Kafka消费者停止获取消息/事件，直到微服务启动并运行。

当我尝试使用Kafka producer and consumer（0.9.0）脚本从一个主题推/拉消息时，我得到以下错误。 为什么我会得到这个错误，我如何解决它？ 在Mac上运行Docker容器中的所有组件。ZooKeeper和Kafka分别运行在Docker容器中。 Docker计算机(boot2docker)IP地址:ZooKeeper端口:Kafka端口: 我从kafka server D

例如，分区有1-10的偏移量。我只想从3-8消费。在消耗了第8条消息后，程序应该退出。

所以我尝试了kafka quickstart的主要文档。得到了多集群的例子，所有设置和测试的说明，它的工作。例如，扳倒一个代理，生产者和消费者仍然可以发送和接收。 经纪人1有什么特别的吗？查看配置，除了id、端口号和日志文件位置之外，所有3个代理之间的配置完全相同。 我认为这只是提供的控制台使用者没有接受代理列表的问题，所以我按照他们的文档使用默认设置编写了一个简单的java使用者，但是在“boo

我有一个（Posix）服务器，它充当许多客户端到另一个上游服务器的代理。消息通常从上游服务器向下流动，然后与之匹配，并被推出到对该流量感兴趣的客户端的某个子集（维护来自上游服务器的FIFO顺序）。目前，这个代理服务器是使用事件循环的单线程（例如-select、epoll等），但现在我想将它变成多线程，这样代理就可以更充分地利用整个机器并实现更高的吞吐量。 我的高级设计是拥有一个由N个工作线程组成的

我正在使用spring-kafka“2.2.7.RELEASE”来创建一个批处理消费者，并且我正在尝试了解当我的记录处理时间超过 max.poll.interval.ms 时消费者重新平衡是如何工作的。 这是我的配置。 这是我的出厂设置。 我添加了自定义消费者监听器，如下所示。 现在我期望消费者群体能够重新平衡，因为处理时间超过 max.poll.interval.ms 但我没有看到任何这样的行为

请为以下场景提供ZeroMQ套接字体系结构建议： 1）端口上有服务器监听 2）有多个客户端同时连接服务器 3） 服务器接受来自客户端的所有连接，并为每个客户端提供双向队列，这意味着双方（客户端N或服务器）都可以发送或使用消息，即双方都可以是通信的发起方，另一方应该有一个回调来处理消息。 我们应该在每个接受的连接上创建额外的ZeroMQ套接字来从服务器推送消息吗？你能建议哪一个ZeroMQ套接字类型

我的问题是，如何做到这一点？我如何定义和配置一个生产者和消费者，可以处理不同的avro实体到一个共同的主题？ 谢谢你的帮助！