第 14 章 批量处理(Batch processing)
优质
小牛编辑
132浏览
2023-12-01
使用 Hibernate 将 100,000 条记录插入到数据库的一个很天真的做法可能是这样的:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
Customer customer = new Customer(.....);
session.save(customer);
}
tx.commit();
session.close();
这段程序大概运行到 50,000 条记录左右会失败并抛出
内存溢出异常(OutOfMemoryException)
。这是因为 Hibernate 把所有新插入的客户(Customer)
实例在 session 级别的缓存区进行了缓存的缘故。
我 们会在本章告诉你如何避免此类问题。首先,如果你要执行批量处理并且想要达到一个理想的性能,那么使用 JDBC 的批量(batching)功能是至关重要。将 JDBC 的批量抓取数量(batch size)参数设置到一个合适值(比如,10 - 50 之间):
hibernate.jdbc.batch_size 20
注意,假若你使用了
identiy
标识符生成器,Hibernate 在 JDBC 级别透明的关闭插入语句的批量执行。
你也可能想在执行批量处理时完全关闭二级缓存:
hibernate.cache.use_second_level_cache false
但是,这不是绝对必须的,因为我们可以显式设置
CacheMode
来关闭与二级缓存的交互。