是否可以使用Kafka Producer实现动态批处理？
现在我正在用Apache Kafka做一些测试。在Kafka生产者的配置中，参数batch.size和linger.ms控制批处理策略。是否可以在生产的同时动态地制作这些参数？例如。如果数据摄取率上升很快，我们可能希望增加batch.size以每批积累更多的消息。我没有找到任何动态批处理与Kafka生产者的例子。有没有可能实施？
共有1个答案
这是可能的，但您必须在运行时使用更新的配置关闭并重新打开一个新的Producer实例，同时确保不会在该操作之间删除事件。
-
我正在使用一个相当大的数据集（大约500Mio-Triples）存储在图形数据库免费并在我的本地开发人员机器上运行。 我想用RDF4J对数据集执行一些操作，并且必须或多或少地选择整个数据集。要进行测试，我只需选择所需的元组。代码在第一个一百万元组中运行良好，之后由于graphDB继续分配更多的RAM，速度变得非常慢。 是否有可能对非常大的数据集执行选择查询并批量获取它们？ 基本上，我只想通过一些选
-
我正在处理许多没有固定头/列的CSV文件，说我可以得到file1。包含10列和文件2的csv。csv包含50列。 我无法提前知道我将拥有的列数，我无法为每种文件类型创建特定的作业，我的输入将是一个黑框：一堆CSV，它将具有从10到无限的X列数。 当我想使用Spring Batch自动导入这些CSV时，我想知道这是否可能？我知道我必须获得固定数量的列，因为处理器以及我需要将数据序列化为POJO然后再
-
嗨，我是新春批。 我有如下Spring批次的情况： 我需要运行所有促销的批处理[促销列表] > 在这里，我想再次从batch中读取上面的动态查询，因为它返回的结果至少为5万条记录。 以下是我所期待的过程，这在Spring批次中是否可行？ 阅读促销【读者逐一阅读促销】 创建查询并将其放在上下文中 传递给下一个读者 读取器逐个读取事务 处理交易并计算积分 我这里的问题是不能写嵌套块[一个用于读取提升，
-
H全部, 如果有人有任何经验的kafka-spark流对处理各种数据，请给我一个简短的细节，如果这是一个可行的解决方案，并比有两个不同的管道更好。 提前道谢！
-
问题内容： 我知道如何通过执行以下操作来为名称已经知道的属性创建getter和setter： 现在，我的问题是，是否可以定义像这样的所有获取方法和设置方法？即，创建getter和setter的任何属性名称 是不是 已经定义。 这个概念可以在PHP中使用和魔术方法（有关这些信息，请参见PHP文档），因此我真的在问是否存在与这些方法等效的JavaScript？ 不用说，理想情况下，我想要一个跨浏览器兼
-
问题内容： JavaScript具有词法作用域，这意味着从函数内部访问的非局部变量在定义时将解析为该函数的父级作用域中存在的变量。这与动态作用域相反，在动态作用域中，从函数内部访问的非局部变量在调用时将解析为该函数的调用范围中存在的变量。 上面的程序以词法范围的语言先打印1，然后再打印2，然后以动态范围的语言先打印3，然后再打印1。由于JavaScript具有词法范围，因此将显示1，然后显示2，如