需要从Kafka主题中读取记录，一旦读取了50条记录，就调用一个API，该API在一个请求中接受50条记录
我需要从Kafka主题中读取记录，一旦读取了50条记录，就调用一个API，该API在一个请求中接受50条记录。
当应用程序没有任何存储数据库时，有什么建议如何实现它吗？
我能够阅读Kafka主题中的记录，寻找如何将记录排队直到计数达到50的建议。
共有1个答案
为消费者设置max.poll.records=50。
最大轮询。记录：对poll（）的单个调用中返回的最大记录数。
我不知道你接收数据的频率如何，如果你看到批次的记录少于50条，试着增加session.timeout.ms（默认为10秒）。
阅读Kafka文档中有关消费者配置的更多信息
-
我在Aerospike数据库中有一个名称空间：test and set:user。我通过控制台上的以下命令在users中添加了四条记录： 通过aql命令，我可以查看这四条记录。aql 我知道一个接一个地获取记录的方法，它在我这边运行得很好，但这对于我的任务来说是非常昂贵的操作。我想读取多个记录（批读取）并对其执行多个算法。我从https://www.aerospike.com/docs/clien
-
我们正在使用Kafka流将数据写入接收器主题。我正在运行一个avro消费者命令行来检查接收器主题中是否有数据： bin/kafka-avro控制台-消费者-主题sink.output.topic-从开始-新消费者-引导-服务器 当我在kafka streams应用程序运行时同时运行消费者时，我会看到数据，但如果我停止消费者并在几分钟后再次运行，我不会看到任何数据。几乎没有可能： 1） 这是因为Ka
-
问题内容： 如标题所示，我想选择以分组的每组行的第一行和最后一行。 我在此表中包含以下数据： 我需要获取的是列开头的第一个值和列末尾的最后一个值，并按group by group列进行分组。 结果表应如下所示： 我使用和和进行了查询。它可以在SQL Server 2012中使用，但不能在SQL Server 2008中使用。我需要一个可以在SQL Server 2008中执行的查询。 问题答案：
-
给定：我在Kafka中有两个主题，假设主题A和主题B。Kafka流从主题A中读取一条记录，对其进行处理，并产生与所消耗记录相对应的多条记录（假设recordA和recordB）。现在的问题是我如何使用Kafka流来实现这一点。 在这里，读取的记录是消息；处理之后，它返回一个消息列表。如何将此列表划分为两个生产者流？任何帮助都将不胜感激。
-
问题内容： 我正在使用mysql并遇到一些问题。我想检索插入的最后一行。 <<以下是详细>> 以下是我创建表格的方式。 我在其中插入了四个值，如下所示 当我执行时，我得到如下输出 当我尝试下面的代码时， 我得到如下输出。 但是，当我使用代码时，出现错误 使用时，表中没有任何数据。 链接以播放数据 注意： 这里我使用4只是为了获得所需的输出。稍后我可以从查询中获取 如果我只想查看最后一条记录，请建议
-
我的计划是 使用多线程步骤，以便每个线程读取一条记录-在处理器中生成多条记录-将生成的记录写入单独的excel文件。 使用同步读取器从进程表中读取。 在处理器中，使用读取器中返回的记录查询DB（涉及多个联接）并形成一个复合对象。 用自定义编写器将复合对象写入文件 就内存管理而言，上面的方法听起来不太好。 因为要写入的记录是在处理器中生成的（而不是从读取器那里获得的，读取器只是给出记录ID)，所以只