当前位置: 首页 > 知识库问答 >
问题:

如何使用Spring batch处理多个CSV格式文件

牟慎之
2023-03-14

我正在使用spring批处理入站文件,下面是我的用例

  1. 将收到包含15个CSV格式文件的zip
  2. 我需要并行处理它们
  3. 在处理完所有文件后,需要进行一些计算并发送报告

有人能建议我如何使用Spring Batch实现这一点吗?

共有1个答案

鲁博赡
2023-03-14

我希望遵循以下方法

>

  • 分区器

    • 解压缩zip文件
    • 对于每个CSV文件,创建一个ExecutionContext并添加到队列以进行pararell处理。

    读卡器将是Spring Batch提供的CSV读卡器。

    侦听器将用于在所有进程完成后发送报告。

    请以这个为例。

    如果你想要完全符合你的要求,请让我知道我可以为你张贴一个。

    Nghia公司

  •  类似资料:
    • 问题内容: 我想将一些查询提取为CSV输出格式。不幸的是,我无法使用任何高级SQL客户端或任何语言来执行此操作。我必须使用SQLPLUS。 我该怎么做? 问题答案: 如果您使用的是12.2,则可以简单地说

    • 我想用3个步骤建立一个批次。我想配置这个步骤,就像如果有100条记录,当step1读取、处理和写入一个10块时,step02,然后step03开始和结束,然后再次返回step1,读取下一个块。这在Spring批量可能吗?

    • 我有一个商业案例,使用Spring batch将多个csv文件(每个文件大约1000个,包含1000条记录)合并成单个csv。 请帮助我提供方法和性能方面的指导和解决方案。 到目前为止,我已经尝试了两种方法, 方法1。 Tasklet chunk与multiResourceItemReader一起从目录中读取文件,FlatFileItemWriter作为项目编写器。 这里的问题是,它的处理速度非常

    • 问题内容: 我想使用PHP上传文件,但问题是我不知道要上传多少文件。 我的问题是,如果使用该如何上传文件? 我将仅添加“文件”框,并使用JavaScript创建更多要上传的文件输入,但是如何在PHP中处理它们呢? 问题答案: 请参阅:$ _FILES ,处理文件上传

    • 我需要在PySpark中处理以下场景。 我有以下格式的csv数据,其中分隔符为,名称列中的数据用双引号括起来。标头也由相同的分隔符分隔 我需要清理数据并获得如下数据框 此外,在Scala Spark中,我们如何实现同样的目标?

    • 问题内容: 当我到达下面的df.date()行时,使用此格式的日期时应用程序崩溃: 致命错误:解开Optional值时意外发现nil 我也看到了这一点: 错误:执行被中断,原因:EXC_BAD_INSTRUCTION(代码= EXC_I386_INVOP,子代码= 0x0) 我有可以采用这种格式的字符串 但有时采用这种格式 这是在上述格式下崩溃的代码段: 如何使用基本一个功能处理两种格式? 问题答