使用FlatFileItemReader读取带有名称模式的文件

Question

我需要使用Spring batch每两个月处理一次输入文件。文件名带有时间戳，因此每次运行时都会更改。

文件名：NY_Prov_mmddyyyy。csv

我正在使用下面的代码来读取文件，我试图只给出目录名，因为fileName中有一个模式，并且文件名不是固定的。但是，这不起作用。

@Bean
    @StepScope
    // FlatfileItemReader to define file properties
    public FlatFileItemReader<Provider> providerItemReader(){
        // create FlatFileItemReader
        FlatFileItemReader<Provider> reader = new FlatFileItemReader<>();
        // skip header
        reader.setLinesToSkip(1);
        reader.setResource(new PathResource(localFileDownloadPath));
        DefaultLineMapper<Provider> customerLineMapper = new DefaultLineMapper<>();
        // tokenizer for delimited file
        DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer();
        customerLineMapper.setLineTokenizer(tokenizer);
        customerLineMapper.setFieldSetMapper(new ProviderFieldSetMapper());
        customerLineMapper.afterPropertiesSet();
        reader.setLineMapper(customerLineMapper);
        return reader ;
    }

application.properties：

local.file.download.path =C:/Users/Desktop/data/in/

错误：

原因：java.lang.IllegalStateException：输入资源必须是可读的（阅读器处于“严格”模式）：路径[C：\User\Desktop\data\in]

我也尝试使用MultiResourceItemReader，但也有，我遇到了这个线程中列出的问题：

使用MultiResourceItemReader时没有要读取的资源错误

更新：

如果我在读卡器级别传递参数，那么在步骤级别传递什么？

  @Bean
    public Step step2(){
        // step 2 : Read csv files and dump it into a custom table
        return stepBuilderFactory.get("stepReadLoad")
                .<Provider, Provider>chunk(1000)
                .reader(providerItemReader()) <-- looking for parameter here
                .writer(providerJdbcBatchItemWriter())
                .build();
    }

更新2：

我正在尝试将它与MultiResourceItemReader一起使用。我可能没有正确传递作业参数。

application.properties：

local.input.file.path.pattern =file:C:/Users/Desktop/data/in/*.csv

代码：

@StepScope
   @Bean
    // MultiResourceItemReader to read multiple files sequentially
    public MultiResourceItemReader<Provider> providerMultiResourceItemReader(@Value("#{jobParameters[local.file.download.path.pattern]}") Resource[] resources) {
    //public MultiResourceItemReader<Provider> providerMultiResourceItemReader() {
            MultiResourceItemReader<Provider> multiResourceItemReader = new MultiResourceItemReader<>();
            multiResourceItemReader.setResources(resources);
            //multiResourceItemReader.setResources();
            multiResourceItemReader.setDelegate(providerItemReader());
            multiResourceItemReader.setStrict(true);
            return multiResourceItemReader;

错误：

Caused by: org.springframework.beans.NotReadablePropertyException: Invalid property 'local' of bean class [org.springframework.batch.core.scope.context.StepContext]: Bean property 'local' is not readable or has an invalid getter method: Does the return type of the getter match the parameter type of the setter?
    

Answer 1

由于文件名是动态的，所以应该将其作为作业参数传递，并在运行时使用后期绑定技术将其注入读取器。下面是一个简单的例子：

@StepScope
@Bean
public FlatFileItemReader<Foo> flatFileItemReader(@Value("#{jobParameters[input.file.name]}") String name) {
    return new FlatFileItemReaderBuilder<Foo>()
            .name("flatFileItemReader")
            .resource(new FileSystemResource(name))
            ...
}