使用spring batch在地图上存储文件的最佳实践

Question

我是Spring批处理的新手，我想找到使用用例的完美方法，如下所示：

我有多个csv文件，我想把它们存储在内存（作为集合存储...即列表地图），然后我想在我的逻辑业务的下一步/作业中使用/引用它们。

让我们举一个例子，一个对象XX和一个ItemWriter一起存储在地图上。

对象XX模型

public class Object {

private int x;
private int y;
// getters setters
} 

对象X的itemReader

public class ObjectItemReader extends FlatFileItemReader<Object> {

    public ObjectItemReader() {
        this.setResource(new ClassPathResource("xxx.csv"));      
        this.setLineMapper(new DefaultLineMapper<Object>() {{
            setLineTokenizer(new DelimitedLineTokenizer() {{
                setNames(new String[] { "x", "y" });
                setDelimiter(DELIMITER_TAB);
            }});
            setFieldSetMapper(new BeanWrapperFieldSetMapper<Object>() {{
                setTargetType(Object.class);
            }});
        }});
    }
}

目标作者

public class ObjectItemWriter implements ItemWriter<Object> {

    private Map<Long , Object> objectMap;

    public ObjectItemWriter() {
        System.out.println("Map Store is created ");
        objectMap= new HashMap<Long , Object>();
    }

    @Override
    public void write(List<? extends Object> items) throws Exception {
        for (Object depot : items) {
            objectMap.put(depot.getX(), depot);
        }
    }

    public Map<Long , Object> getobjectMap() {
        return objectMap;
    }
}

正如你可以看到所有的记录都存储在地图与itemWriter，我做了一个测试与一个简单的任务，以访问这个地图在其他步骤

public class TaskletStep implements Tasklet{

    @Autowired
    private ObjectItemWriter objectItemWriter;

    @Override
    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {

        System.out.println(objectItemWriter.getobjectMap().size());

        return null;
    }
}

我的问题，

是否有另一种方法/最佳方法将所有csv文件存储在内存中，只使用ItemReader或ItemProcessor，因为这是一种简单的从文件中获取数据以进行映射的方法？

项目编写器是将这些文件存储在地图上的重要步骤吗？

Answer 1

在Spring Batch面向块的步骤中，定义读取器

然后你可以选择做任何事情——在组件中什么都不做，并且可以在组件中做任何你想做的事情，而不考虑组件的名称（作为读卡器、处理器或编写器）。

话虽如此，您还没有指定为什么要在阅读器或处理器中填充地图

在我看来，如果您选择了Spring Batch，那么您必须按照预定义和假定的流来设计程序，以获得干净的代码和干净的设计。从这个角度来看，你目前的方法看起来比你计划的要好。

是否有另一种方法/最佳方法将所有csv文件存储在内存中，只使用ItemReader或ItemProcessor，因为这是一种简单的从文件中获取数据以进行映射的方法？

如前所述，您可以在processor中填充map，并拥有一个不执行任何操作的writer。您必须注意，分块无论如何都会发生，控制权将交给writer来提交事务。在我看来，如果你不想在写之前转换一个已读项目，只需省略处理器，直接将项目从读卡器发送到写卡器（分块）。

通过在reader中填充map，您将违反单一责任原则（SRP），这是不可取的。

项目编写器是将这些文件存储在地图上的重要步骤吗？

只要您相信解耦组件和SRP，这是至关重要的。

如果一个组件可以完成工作，为什么有人需要三个组件？你们的问题让我不禁要问，为什么我们甚至需要Spring批处理API/框架（只需要使用-FlatFileItemReaderclass？）？

希望有帮助！！