这篇文章主要介绍了Spring Batch批处理框架使用解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用Spring Batch做为批处理框架,可以完成常规的数据量不是特别大的离线计算。
现在写一个简单的入门版示例。
这里默认大家已经掌握了Spring Batch的基本知识,示例只是为了快速上手实践
目标1:程序随机生成字符串,经过Spring Batch后,统一在字符串后加入“----PROCESSED”,并输出
目标2:程序读取txt文件,经过Spring Batch后,统一加入如上字段,并输出
Spring Batch的流程
分析目标可知,两个目标的输入数据源不同,处理方式基本一致,数据完成后的写入规则一致
由此可以分段完成代码
itemReader
目标一
这里没有使用Spring Batch自带的集中reader,所以自定义了随机生成字符串的reader
这里代码并不完善,reader会无线html" target="_blank">循环生成随机字符串,但不影响本次学习的目的
public class MyItemReader implements ItemReader<String> { @Override public String read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException { return RandomStringUtils.randomAlphabetic(10); } }
目标二
由于是读取文件中的内容,所以不用自定义reader实现,可直接使用FlatFileItemReader,在Batch的config中配置即可
@Bean public ItemReader<String> textReader(){ FlatFileItemReader<String> reader=new FlatFileItemReader<>(); File file = new File("D:\\FTP\\ttest.txt"); reader.setResource(new FileSystemResource(file)); reader.setLineMapper(new LineMapper<String>() { @Override public String mapLine(String line, int lineNumber) throws Exception { return line; } }); return reader; }
itemProcess
这里采用同一种处理方式即可
public class MyItemProcessor implements ItemProcessor<String,String> { @Override public String process(String s) throws Exception { return s+"---------PROCESSED"; } }
itemWriter
也采用同一种即可
public class MyItemWriter implements ItemWriter<String> { @Override public void write(List<? extends String> items) throws Exception { for (String item : items) { System.out.println(item); } } }
配置完成Batch Config
@Configuration @EnableBatchProcessing public class BatchConfiguration extends DefaultBatchConfigurer { @Autowired public StepBuilderFactory stepBuilderFactory; @Autowired public JobBuilderFactory jobBuilderFactory; @Bean public MyItemProcessor processor(){ return new MyItemProcessor(); } @Bean public ItemWriter<String> writer(){ return new MyItemWriter(); } @Bean public ItemReader<String> textReader(){ FlatFileItemReader<String> reader=new FlatFileItemReader<>(); File file = new File("D:\\FTP\\ttest.txt"); reader.setResource(new FileSystemResource(file)); reader.setLineMapper(new LineMapper<String>() { @Override public String mapLine(String line, int lineNumber) throws Exception { return line; } }); return reader; } @Bean public ItemReader<String> stringReader(){ return new MyItemReader(); } @Override public void setDataSource(DataSource dataSource) { super.setDataSource(dataSource); } @Bean public Step myStep(){ return stepBuilderFactory .get("step1") //这个chunk size是最后调用写入的时候,一次性写入多少条已处理的数据 .<String,String>chunk(10) // .reader(textReader()) .reader(stringReader()) .processor(processor()) .writer(writer()) .build(); } @Bean public Job MyJob(){ return jobBuilderFactory .get("MyJOB") .listener(new JobExecutionListenerSupport(){ //所有处理结束后调用 @Override public void afterJob(JobExecution jobExecution) { if(jobExecution.getStatus() == BatchStatus.COMPLETED){ System.out.println("OK"); } } }) .flow(myStep()) .end() .build(); } }
结束
最后直接运行spring boot程序即可
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
我想用3个步骤建立一个批次。我想配置这个步骤,就像如果有100条记录,当step1读取、处理和写入一个10块时,step02,然后step03开始和结束,然后再次返回step1,读取下一个块。这在Spring批量可能吗?
本文向大家介绍Spring batch批处理框架,包括了Spring batch批处理框架的使用技巧和注意事项,需要的朋友参考一下 spring batch框架的简介 批处理任务是大多数IT项目的一个重要组成部分,批处理在业务系统中负责处理海量的数据,无须人工干预就能够自动高效的进行复杂的数据分析和处理。批处理会定期读入批量数据,经过相应的业务处理进行归档的业务操作,批处理的特征是自动执行,处理的
反正可以禁用SQL,我只是想测试我的读写器和处理器工作正常。
本文向大家介绍详解Spring Batch 轻量级批处理框架实践,包括了详解Spring Batch 轻量级批处理框架实践的使用技巧和注意事项,需要的朋友参考一下 实践内容 从 MariaDB 一张表内读 10 万条记录,经处理后写到 MongoDB 。 具体实现 1、新建 Spring Boot 应用,依赖如下: 2、创建一张表,并生成 10 万条数据 3、创建 Person 类 4、创建一个中
我创建了一个Windows批处理文件来启动我的Play Framework应用程序,详情如下:Play Framework bat Windows java process 这是可行的,但当我尝试添加命令行标志以指定生产配置文件时,会收到“Not a Play application”(非播放应用程序)错误消息: 我的两个问题是: “%1”和“.”是什么意思向java启动器表示 如何在Window
创建名为“step1”的bean时出错:设置bean属性“job repository”时无法解析对bean“job repository”的引用;嵌套异常为org.springframework.beans.factory.BeanCreationException:创建类路径资源[spring/batch/config/spring-batch-contextoriginal.xml]中定义的