使用Spring Batch批处理框架(参考)

Posted Kana酱

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Spring Batch批处理框架(参考)相关的知识,希望对你有一定的参考价值。

  本文主要介绍了春季批量框架的使用分析。文章通过实例代码详细介绍,对每个人的学习或工作都有一定的参考和学习价值,需要的朋友可以参考。

  使用春季批处理作为批处理框架,可以在常规数据量不是特别大的情况下完成离线计算。

  现在写一个简单的入门级例子。http://m.jlnk3659999.com

  这里的默认设置是每个人都已经掌握了Spring Batch的基本知识,这个例子只是为了快速实现手。

  目标1:程序随机生成字符串,在春季批处理后,在字符串后统一添加“-processed”,并输出它们

  目标2:程序读取txt文件,在春季批处理之后,统一添加上述字段并输出它们。

  春季分批过程

  读取数据-项目读取器处理数据-项目处理数据写入-项目写入

  根据对目标的分析,两个目标的输入数据源不同,处理方法基本相同,数据完成后的写入规则相同。

  由此可以分段完成代码http://mip.0834jl.com

  itemReader

  目标一

  这里没有使用Spring Batch自带的集中reader,所以自定义了随机生成字符串的reader

  这里代码并不完善,reader会无线循环生成随机字符串,但不影响本次学习的目的

public class MyItemReader implements ItemReader<String> {
@Override
public String read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException {
return RandomStringUtils.randomAlphabetic(10);
}
}

  目标二

  由于是读取文件中的内容,所以不用自定义reader实现,可直接使用FlatFileItemReader,在Batch的config中配置即可

@Bean
public ItemReader<String> textReader(){

FlatFileItemReader<String> reader=new FlatFileItemReader<>();
File file = new File("D:\FTP\ttest.txt");
reader.setResource(new FileSystemResource(file));
reader.setLineMapper(new LineMapper<String>() {
@Overridehttp://www.jl0834.com
public String mapLine(String line, int lineNumber) throws Exception {
return line;
}
});
return reader;

}

  itemProcess

  这里采用同一种处理方式即可

public class MyItemProcessor implements ItemProcessor<String,String> {

@Override
public String process(String s) throws Exception {
return s+"---------PROCESSED";
}
}

以上是关于使用Spring Batch批处理框架(参考)的主要内容,如果未能解决你的问题,请参考以下文章

Spring框架——批处理(batch)和事务(Transaction)

Spring 学习总结(34)——Spring Batch 批处理框架使用总结

大数据批处理框架 Spring Batch全面解析

Spring batch批处理框架

Spring batch批处理框架

spring batch批量处理框架