如何在JdbcTemboard中使用获取大小来处理2000万行？

Question

我有一个包含2000万行的表，由于OutOfMemoryError，我无法使用单个查询选择所有行。我读到了fetchSize属性，看起来它可能有助于解决我的问题，因为它是常见的建议

但我对如何应用它有疑问。

我有以下代码：

private final JdbcTemplate jdbcTemplate;
...
    jdbcTemplate.setFetchSize(1000);
    List<MyTable> myList= this.jdbcTemplate.query(
                "SELECT * FROM my_table",
                new Object[]{},
                MyTableMapper.INSTANCE
        );
    mylist.foreach(obj->processAndSave(obj));

看起来jdbc驱动程序会为每个请求选择1000。但是我应该怎么做才能处理所有2000万行呢？

我应该调用jdbcTemplate吗。查询几次？

Answer 1

您可以根据光标获取结果

如果您使用的是PostgreSQL 11请求：

1. setFetchsize

标准配置示例

spring.datasource.hikari.auto-commit=false
spring.jdbc.template.fetch-size=50

此外，如果您想在存储库类之外处理结果，您可以结合queryForStream

Stream<MyTable> stream = jdbcTemplate.queryForStream(SQL,  MyTableMapper.INSTANCE);

PostgreSQL文档：发出查询并处理结果

https://jdbc.postgresql.org/documentation/head/query.html