Storm支持批处理
我需要用Storm处理成批的元组。我的最后一个bolt必须等到拓扑接收到整个批处理之后才能进行一些处理。为了避免混淆--对我来说，批处理是一组N条消息，它们是实时的，这个术语不需要与批处理（Hadoop）联系在一起。即使2条消息也可以是一批。
阅读Storm的文档是否可以说Storm不支持这种批处理（实时的批处理=N条消息）？
所以我的问题是给你们，我亲爱的Storm大师们，这个拓扑是不是设计得很糟糕，它看起来像是某种黑客？有没有更好的办法做到这一点？
共有1个答案
Storm还提供https://Storm.incubator.apache.org/documentation/transactional-topologies.html。虽然三叉戟是不推荐的，但它们是在标准Storm螺栓/喷口上实现的，所以没有理由你不能继续使用它们。您还可以考虑将进程拆分为两个拓扑，其中第二个拓扑等待，直到RabbitMQ中有N条消息要处理
-
Cassaforte具有插入批处理功能，可一次性将多行插入到cassandra CQL表中。 我最近切换到Alia，我想知道它是否提供相同的功能？我不能立即在留档中看到任何内容，并且（hayt/value…）似乎一次只支持单行插入。
-
12.9 扩展 JSR-352 批处理作业 Spring Batch 的 job 有4种扩展方式 (后两种方式支持使用多个JVM来执行): Split - 并行执行多个 step. Multiple threads - 通过多线程执行单个 step. Partitioning - 将数据切分后并行处理 (主从,master/slave). Remote Chunking - 远程执行逻辑处理块.
-
我想从mysql读取数据，然后写入sftp。现在我将文件写入本地，从本地写入sftp，最好的方法是什么？
-
我正在为Grails使用Spring批处理插件（Spring-batch-1.0.RC2）。到目前为止工作正常，但我想分割流来执行。。。支持吗？这是我试图执行的代码。。。但结果是第一步，第二步，第三步，第四步。 谢啦！
-
我尝试使用r2dbc执行批处理插入。 我已经看到，使用spring boot中的DatabaseClient，这还不可能实现。我尝试使用R2DBC SPI语句和and方法来实现这一点，如下所示： 我在日志上看到完成了两个插入请求。 添加是执行批更新还是只运行两个请求？ 谢谢
-
我们使用RESTEasy编写了Web API。我们希望以Google Batch请求处理的方式为Batch请求处理提供支持。 以下是目前使用的方法， 我们有一个过滤器，它接受传入的多部分请求。然后，此过滤器创建多个模拟请求和响应对象，然后调用链。doFilter使用这些模拟请求。 MockHttpServletResponse类返回一个虚拟的OutputStream，它将通过TearayoutPu