在spring-batch中动态读取文件

Question

我正在尝试在网络上使用spring-batch在不同的endpoint（pc,s3,dropbox,google drive）之间传输任何文件（视频,txt等）。为此，我将获得包含要传输的文件位置（url）列表的json文件（假设我可以访问这些位置）。

那么，当我的控制器被击中（在其中创建作业）而不是在启动spring-boot应用程序的时候，我如何告诉阅读器读取输入呢？

我已经尝试添加“spring.batch.job.enabled=false”，它可以停止spring-batch自动启动，但我关心的是应该在哪里编写设置将提供给ItemReader的资源行：

FlatFileItemReader<String> reader = new FlatFileItemReader<String>();
reader.setResource(someResource);

因为在设置资源期间,我将获得NullPointerException。

Answer 1

从Web容器中运行作业通过一个代码示例解释了这一点。这里有一个例外：

@Controller
public class JobLauncherController {

   @Autowired
   JobLauncher jobLauncher;

   @Autowired
   Job job;

   @RequestMapping("/jobLauncher.html")
   public void handle() throws Exception{
    jobLauncher.run(job, new JobParameters());
   }
}

在您的示例中,需要从请求中提取文件名并将其作为作业参数传递,类似于：

@RequestMapping("/jobLauncher.html")
public void handle() throws Exception{
   URL url = // extract url from request
   JobParameters parameters = new JobParametersBuilder()
        .addString("url", url)
        .toJobParameters();
   jobLauncher.run(job, parameters);
}

然后使读取器具有步进作用域,并从作业参数中动态提取文件：

@StepScope
@Bean
public FlatFileItemReader flatFileItemReader(@Value("#{jobParameters['url']}") URL url) {
   return new FlatFileItemReaderBuilder<String>()
        .resource(new UrlResource(url))
        // set other properties
        .build();
}