Spring Batch：我们如何从DB预加载值，它将用于处理器部分

Question

我需要在ItemProcessor部分查找几个表。我不想对ItemProcessor部分中的每一行进行多个JDBC调用，当spring批处理开始处理更多记录时，这可能会导致性能问题。避免这种情况的变通方法是什么？有没有办法在ItemProcessor之前或批处理开始之前预加载这些对象，并在ItemProcessor中引用它们？

Answer 1

在Spring应用程序上下文初始化期间，您可以使用@PostCon结构注释您的方法来读取数据。让您的ItemReader的读取方法从列表中返回值。当整个列表完成时，返回null。这将停止读取。

@Service
public class YourItemReader implements ItemReader<DomainObject> {

 private int index;

 List<DomainObject> dbRows;

 @PostConstruct
 public void init() {
   List<DomainObject> //read from database
 }


@Override
public DomainObject read(){
        if (null != dbRows && index < dbRows.size()) {
         return dbRows.get(index);
       }
   return null;
}

如果记录的数量以百万计，我建议从数据库中执行基于块的读取，而不是一次读取所有记录，这可能会导致垃圾收集器内存不足异常。通过在表中添加一个名为STATUS的列来跟踪所处理记录的状态，可以很容易地做到这一点。最初，当您将数据加载到表中时，将状态设置为“未处理”，当ItemReader读取记录块时，将状态设置为“进行中”。ItemProcessor或ItemWriter完成处理后，将状态从“进行中”更改为“已处理”。确保将从数据库获取数据的方法设置为“已同步”。这将确保多个线程不会从数据库中获取相同的数据。

public List<DomainObject> read(){
 return fetchDataFromDb();
}

private synchronized List<DomainObject> fetchProductAssociationData(){
//read your chunk-size of records from database which has status as 'NOT 
PROCESSED' 
 and change the status of the data which is read to 'IN PROGRESS'
return list;
}