如何使用Spring-Batch读取多个文件块？

Question

我正在使用Spring-Batch使用MultiResourceItemReader按顺序读取csv文件。

我想创造一个读者

• 从文件1读取chunksize

现在，MultiResourceItemReader的问题是，它将首先分块读取完整的文件1，当文件完成时，它将继续读取文件2。

如何创建基于块大小在文件之间切换的批处理步骤？

Answer 1

你可以用像这样的东西

    @Bean
    public MultiResourceItemReader<Company> readerCompany() throws IOException {

        DelimitedLineTokenizer dlt = new DelimitedLineTokenizer();
        dlt.setDelimiter("^");
        dlt.setNames("name", "cui", "code", "euid", "companyState", "address");
        dlt.setStrict(false);

        return new MultiResourceItemReaderBuilder<Company>()
                .name("readerCompany")
                .resources(inputCompanyResources)
                .delegate(new FlatFileItemReaderBuilder<Company>()
                        .name("getCompanyStatusReader")
                        .fieldSetMapper(new FieldSetMapper<Company>() {
                            @Override
                            public Company mapFieldSet(FieldSet fieldSet) throws BindException {
                                return Company.builder()
                                        .name(fieldSet.readString("name"))
                                        .localId(fieldSet.readString("cui"))
                                        .code(fieldSet.readString("code"))
                                        .companyStatus(readCompanyStatuses(fieldSet.readString("companyState")))
                                        .address(fieldSet.readString("address"))
                                        .internationalId(fieldSet.readString("euid"))
                                        .build();
                            }
                        })
                        .linesToSkip(1)
                        .lineTokenizer(dlt)
                        .build())
                .build();
    }

Answer 2

您需要创建一个自定义阅读器来解决您正在尝试的问题。您可以使用引擎盖下的FlatFileItemReader进行实际的文件读取，但同时读取两个文件的逻辑您必须自己协调。只是在我的脑海中编码，我期望这样的事情：

public class MultiFileReader implements ItemReader<SomeObject> {

    private List<ItemStreamReader> readers;

    public SomeObject read() {
        SomeObject domainObject = new SomeObject();

        for(ItemStreamReader curReader : readers) {
            domainObject.add(curReader.read());
        }

        return domainObject;
    }
}