如何在Spring批处理中使用itemWriter编写子记录

Question

我的情况：

我在readerItem中从db读取了类A。然后我需要处理这个类A并创建我在item处理机中做的类B。最后，我将这个类B保存到itemWriter中的db中。

问题：在处理过程中，我还需要创建具有类B外键的类C（约1 mil记录）并保存该类C。

我不能做这样的事情：因为正如我写的，我有大约100万条记录，我需要在内存中存储大约2gb的空间。所以我应该如何解决这个问题。

public class BWriter extends BaseItemWriter<B> {

    public void write(List<? extends B> data) throws Exception {
        logger.info("Start writing: " + data);
        for (B item : data) {
            myCustomDao.saveB(item);
            for (C itemC : item.getC()) {
                itemC.setB(item);
                myCustomDao.saveC(itemC);
            }
        }
    }
}

更新：

可能的解决方案不包括我想要的Spring批次：

    List<C> cList = new ArrayList<C>();
    int i = 0;
    String line;
    while ((line = reader.readLine()) != null) {
        String[] data = line.split(";");
        if (data.length > 1 && !StringUtils.isBlank(data[1])) {
            C cItem = new C();
            cItem.set(...);
            cList.add(i, cItem);
            if (++i >= 1000) {
                myCustomDao.save(cList);
                cList = new ArrayList<C>();
                i = 0;
            }
        }
    }
  if (!cList.isEmpty())
                myCustomDao.save(cList);

Answer 1

如果在not a选项中将commit interval减少到一个较小的值，因为一个B元素最多可以有1mil C对象，您可以这样做：

处理类A到类B，而不在处理的B对象中创建C对象；
在BWriter中附加一个ItemWriteListener

如果问题是由于使用Hibernate而不是普通的JDBC造成的，您可以考虑手动使用无状态会话或flush（）/clear（）会话；1数据库的mil record不是一个大数字
不幸的是，当您有大量数据时，ORM不是最佳选择。

我的2美分，我和你一样是Spring批的新手。