如何使用Spring批处理进行聚合？

Question

我正试图弄清楚如何使用Spring Batch进行聚合。例如，我有一个带有姓名列表的CSV文件：

name
John
Amy
John
Ryan

我想要文本文件中的姓名计数：

name, count
Amy, 1
John, 2
Ryan, 1

根据我从Spring Batch中学到的，ETL批处理过程（itemReader-

Spring Batch是正确的工具吗？还是我应该用Spark？谢谢

Answer 1

项目处理器通常用于过滤、验证或将数据从一种类型映射到另一种类型，但也可以用于任何类型的处理，如您的情况下的计数。例如，项目处理器可以保存名称的映射-

面向块的处理模型不会直接映射到map-减少模型。但是，分区才是您要找的。StepExecttionSplitter和StepExecttionAggregator是在本地或远程执行map-减少操作的关键概念。有关此的更多详细信息，请参见参考留档的分区部分。

还有一个类似的问题，我在这里添加它以供参考：如何在Spring批处理作业中聚合完整的数据集？

希望这有帮助。